内容创作者希望通过毒害数据来保护他们的知识产权免受人工智能的侵害。这会破坏机器学习生态系统吗？专家警告说，专注于通过抓取已发布内容来创建人工智能模型的公司之间的军备竞赛，以及希望通过污染数据来保护其知识产权的创作者之间的军备竞赛可能会导致当前机器学习生态系统的崩溃。当人工智能(AI)大型语言模型在机器（而不是人类）生成的数据上进行训练时，会导致模型崩溃。模型崩溃的催化下，生成式人工智能的退化不可避免。这导致连锁反应，生成更不靠谱的数据，训练出更加不靠谱的模型。 在8月发表的一篇学术论文中，芝加哥大学的计算机科学家提供了一项技术，可以防御大规模抓取内容（特别是艺术品）的行为，并阻止使用这些数据来训练人工智能模型。这一努力的结果将污染基于数据训练的人工智能模型，并阻止它们创建风格相似的艺术品。 另外一篇论文则强调，这种故意污染将与人工智能在企业和消费者中的广泛采用同时发生，这一趋势将使在线内容的构成从人类生成转变为机器生成。随着越来越多的模型在其他机器创建的数据上进行训练，递归循环可能会导致“模型崩溃”，即人工智能系统与现实脱节。 数据退化不可避免 英国和加拿大研究人员的一项研究表明，当人工智能(AI)大型语言模型在机器（而不是人类）生成的数据上进行训练时，会导致模型崩溃。模型崩溃的催化下，生成式人工智能的退化不可避免。这导致连锁反应，生成更不靠谱的数据，训练出更加不靠谱的模型。有专家形象地称这为数据乱伦！ “换句话说，大规模使用[大型语言模型]在互联网上发布内容将污染训练它们的数据集，”该论文表示。 随着越来越多的人工智能生成的文本和合成数据在线发布，这给未来训练生成人工智能带来了问题。 Open AI的ChatGPT和Alphabet的Bard等大型语言模型最初主要使用从互联网上抓取的人类生成文本进行训练，并使用进一步的人类输入进行微调。 但是，越来越多的在线内容也是由人工智能模型本身创建的。 当人工智能模型从机器生成的数据而不是人类创建的数据中学习时，“即使保留了一些原始数据，在几次迭代内也会发生重大退化，”他说。 “优化缺陷、有限模型和有限数据带来的错误最终会导致合成数据质量较低。随着时间的推移，错误会变得更加复杂，最终迫使从生成的数据中学习的模型进一步误解现实。” 贝里维尔机器学习研究所(BIML)联合创始人加里·麦格劳(Gary McGraw)表示，数据退化已经发生，可能会给未来的人工智能应用带来问题，尤其是大型语言模型(LLM)。 “如果我们想要拥有更好的LLM，我们需要让基础模型只吃好东西，”他说。“如果你认为他们现在所犯的错误很糟糕，那么你就等着看他们犯下自己的错误并犯下更明显的错误时还可能会发生什么。” 数据中毒 随着研究人员继续研究数据中毒问题，这一问题引起了人们的担忧。数据中毒可以是对未经授权的内容使用、对人工智能模型的攻击或人工智能系统不受监管使用后的自然进展的防御。例如，开放全球应用程序安全项目(OWASP)于8月1日发布了大型语言模型应用程序的十大安全问题列表，将训练数据中毒列为LLM的第三大威胁。 一篇关于防止未经许可模仿艺术家风格的防御措施的论文强调了数据中毒的双重性质。芝加哥大学的一组研究人员创建了“风格斗篷”，这是一种对抗性人工智能技术，可以修改艺术品，使经过数据训练的人工智能模型产生意想不到的输出。研究显示，他们的方法被称为“Glaze”，已成为Windows和Mac中的免费应用程序，下载量已超过74万次，并在USENIX安全研讨会上获得了2023年互联网防御奖。 软件安全公司Contrast Security的首席产品官、OWASP Top-10的负责人Steve Wilson表示，虽然他希望人工智能公司和创作者社区能够达到平衡，但目前的努力可能会导致更多的问题而不是解决方案。 “正如恶意行为者可能会引入误导性或有害数据来破坏人工智能模型一样，‘扰动’或‘风格斗篷’的广泛使用也可能会产生意想不到的后果，”他说。“这些问题可能会降低有益的人工智能服务的性能，也会造成法律和道德困境。” 数据鱼龙混杂（好的、坏的和有毒的） 如果不引入人类内容创作者，专注于创建下一代人工智能模型的公司将面临风险。人工智能模型依赖于人类创建的内容，而未经许可的内容的广泛使用造成了一种分离性的断裂：内容创建者正在寻找保护其数据免遭意外使用的方法，而人工智能系统背后的公司则旨在使用这些内容进行培训。 防御措施以及互联网内容从人类创建到机器创建的转变可能会产生持久的影响。根据加拿大和美国大学的一组研究人员发表的论文，模型崩溃被定义为“影响一代代学习生成模型的退化过程，生成的数据最终会污染下一代模型的训练集”。 研究人员表示，“如果我们要维持从网络上抓取的大规模数据进行训练的好处，就必须认真对待模型崩溃”。“事实上，当LLM在从互联网上爬取的数据中生成内容时，收集到的有关人类与系统的真实交互的数据的价值将变得越来越有价值。” Contrast Security的Wilson表示，当前的大型人工智能模型——假设它们赢得了创作者带来的法律诉讼——可能会找到绕过正在实施的防御措施的方法。他说，随着人工智能和机器学习技术的发展，他们将找到检测某些形式的数据中毒的方法，从而使防御方法的效率降低。 此外，更具协作性的解决方案，例如Adobe的Firefly（它用数字“营养标签”标记内容，提供有关用于创建图像的来源和工具的信息）可能足以保护知识产权，而不会过度污染生态系统。 然而，这些方法是“一种创造性的短期解决方案，但不太可能成为长期防御人工智能生成的模仿或盗窃的灵丹妙药”，威尔逊说。“重点或许应该放在开发更强大、更道德的人工智能系统上，并辅之以强有力的法律框架来保护知识产权。” BIML的McGraw认为，如今致力于大型语言模型(LLM)的大公司应该大力投资以防止互联网上的数据污染，并且与人类创造者合作符合他们的最大利益。 “他们需要找到一种方法将内容标记为‘我们制作的，所以不要将其用于培训’——本质上，他们可能只是自己解决问题，”他说。“他们应该想这样做……我不清楚他们是否已经吸收了这一信息。” LLM的救赎之路 可以设想多种方法来解决LLM训练中复杂的数据问题。先发优势方法强调保留对原始人类生成数据源的访问。使用有错误的数据会给模型的学习过程带来缺陷，导致对现实的理解出现偏差。随着时间的推移，这些误解会被放大，削弱人工智能的实用性。 区分人工智能生成的数据和人类生成的数据很困难。因此，还必须考虑采用社区范围的协调方法，以确保参与LLM创建和部署的不同实体共享确定数据源所需的信息。确保原始数据中的少数群体在后续数据集中得到公平的代表也很重要，不仅在数量上，而且在其独特属性方面。 随着人工智能模型越来越多地吞噬机器生成的内容，模型崩溃的阴影变得越来越大。为了抵御令人难以忘怀的深渊并挽救这一变革性技术，迫切需要强大的数据收集、准确的注释和全社区的协调。     转自安全内参，原文链接:https://www.secrss.com/articles/58441 封面来源于网络，如有侵权请联系删除

随着生成式人工智能技术的快速普及，对人工智能生成内容的检测需求不断增长。谷歌近日推出了SynthID的测试版，这是一种识别人工智能生成的图像并为其添加水印的工具。 SynthID最初将提供给数量有限的Imagen用户，Imagen是谷歌基于云的人工智能模型，用于从文本生成图像。 SynthID可将数字水印直接嵌入到Imagen生成的图像的像素中，对人眼不可见，但可以通过特定软件检测到。 谷歌的研究人员表示：“SynthID添加的水印不会影响图像质量，并且即使在添加滤镜、更改颜色以及使用各种有损压缩方案（最常用于JPEG）保存等修改之后，水印仍可被检测到。” SynthID使用两个经过各种图像训练的深度学习模型。一个添加难以察觉的水印，另一个通过提供三个图像识别置信度来确定图片是否由Imagen生成。 虽然元数据（存储有关谁创建图像文件以及何时创建的详细信息的数据）也通常用于识别人工智能图片，但元数据可能在图片编辑过程中被更改或丢失，而SynthID的水印集成到图像像素中，即使在元数据丢失时也仍然可以检测到。 谷歌表示，在不久的将来，SynthID可以扩展到其他人工智能模型（生成的图片），集成到更多谷歌产品中，并提供给第三方。     转自GoUpSec，原文链接:https://mp.weixin.qq.com/s/L1nDNTcUsgq-U6GOFyWDBQ 封面来源于网络，如有侵权请联系删除

Hackernews 编译，转载请注明出处： 周二，谷歌公布了一系列新的人工智能技术和合作关系，其中包括名为“Gemini（双子座）”的新旗舰人工智能模型、定制的人工智能芯片、用于识别人工智能艺术品的隐形水印，以及用于工作的其他大型商业驱动的AI工具。 谷歌在周二于旧金山举行的Next会议上宣布了这一消息，此举似乎是为了与OpanAI周一宣布的ChatGPT-4企业平台竞争。 这一系列公告是谷歌最近展示其人工智能计划的一部分，从去年开始，微软就推出了一项雄心勃勃的人工智能战略，让谷歌措手不及。 谷歌表示，其新版本可以将业务和人工智能整合到一个平台上。Genesis将成为GPT-4的直接竞争对手，其计算能力是GPT-4的五倍。 这款大型语言模型是在谷歌的TPUv5芯片上训练的，能够与16384个芯片同时操作。 这家Alphabet旗下的公司计划在2023年12月向公众发布 Gemini模型。 超过100个AI模型 谷歌宣布自己AI基础设施的新版本提高了性能并增加了功能。 该新工具包括“工作区中的Duet AI”，它将帮助客户在其应用程序中使用Docs写作、在Gmail中起草电子邮件，以及在幻灯片中生成自定义视觉效果等。 “我们已经发布，并将继续增强和扩展这个插件，以响应客户的强劲需求。这些工具已经接受了100多万用户的测试。”谷歌表示道。 为了支持企业云服务，谷歌在其集合中增加了20个人工智能模型，使总数达到100个。 AI基础设施包括让谷歌云客户访问Meta平台的人工智能模型LLaMa 2，以及初创公司Anthropic的Claude 2。 谷歌将以每月30美元的价格向企业客户提供其新的人工智能驱动工具。     消息来源：cybernews，译者：Linn；   本文由 HackerNews.cc 翻译整理，封面来源于网络；   转载请注明“转自 HackerNews.cc ” 并附上原文

根据Perception Point和Osterman Research的最新调查，越来越多的网络犯罪分子在网络钓鱼和BEC（商业电子邮件泄露）等电子邮件攻击中使用了（生成式）人工智能技术，九成受访企业表示已经遭受过人工智能增强的电子邮件攻击。与此同时，越来越多的电子邮件安全解决方案也开始使用人工智能技术来应对此类攻击。 调查显示，91.1%的受访企业表示他们已经遇到过人工智能增强的电子邮件攻击，84.3%的企业预计人工智能将继续被用来绕过现有的邮件安全系统。因此，基于人工智能技术的电子邮件安全防护比以往任何时候都更加重要。 人工智能已经成为电子邮件安全的“刚需” 调查显示，近80%的受访企业认为电子邮件安全是网络安全的三大优先事项之一。但随着时间的推移，传统电子邮件安全方法已被证明效果较差。96.9%的受访者实施了人工智能电子邮件安全方案，因为传统的邮件安全防御措施无法有效应对紧急威胁。 在过去12个月中，认为人工智能技术对于电子邮件防御“极其重要”的受访者比例增加了4倍多。几乎所有受访企业都认为人工智能技术将在电子邮件防御体系中发挥中等或极其重要的作用。 人工智能电子邮件安全的三大趋势如下： 人工智能增强的网络安全技术不仅仅适用于电子邮件：购买人工智能增强邮件安全方案的企业还希望人工智能技术能更好地保护其他通信和协作应用程序，例微软的Teams、SharePoint、OneDrive，以及Zoom、Slack、Salesforce等应用。 没有响应和缓解功能的人工智能检测是误导性的：通过人工智能检测电子邮件中威胁的能力是至关重要的第一步，但不是全部。企业需要培训网络安全专业人员和SOC团队，以充分利用人工智能技术对已识别的安全事件做出快速有效的响应。 企业正在利用新的人工智能工具加强防御：随着电子邮件威胁环境的变化，企业正在实施新的防御。九成受访企业已经在云电子邮件提供商提供的解决方案之外实施了人工智能电子邮件安全解决方案。     转自GoUpSec，原文链接:https://mp.weixin.qq.com/s/vY4GOZeAjlJtmNNOAht9EQ 封面来源于网络，如有侵权请联系删除

美国国防部高级研究计划局（Defense Advanced Research Projects Agency，DARPA）计划发起一项为期两年的竞赛–人工智能网络挑战赛（AI Cyber Challenge），作为白宫正在实施的提高软件安全性计划的一部分，该竞赛将要求参赛者利用人工智能识别并修复软件漏洞。 人工智能网络挑战赛将与人工智能初创公司Anthropic和OpenAI以及微软和Google合作，让美国的参赛团队利用人工智能来确保”重要软件”（特别是关键基础设施代码）的最佳安全。Linux 基金会的开源安全基金会（OpenSSF）将担任挑战赛顾问，1850 万美元的奖金将颁发给最优秀的参赛者。 DARPA 表示，它还将为最多七家希望参赛的小型企业提供每人 100 万美元的奖金。 “我们希望创建能够自动防御任何类型软件攻击的系统，”DARPA 项目经理佩里-亚当斯（Perry Adams）在昨天的新闻发布会上对记者说，他是人工智能网络挑战赛的构想者。”最近在人工智能方面取得的成果，如果以负责任的方式加以利用，我认为在保护我们的代码安全方面具有非凡的潜力。” 亚当斯指出，关键软件中越来越多地使用开源代码。GitHub 最近的一项调查显示，高达 97% 的应用程序利用了开源代码，90% 的公司正在以某种方式应用或使用开源代码。 开放源代码的普及带来了创新的爆炸式增长。但同时也为破坏性的新漏洞和漏洞利用打开了大门。Synopsys 公司 2023 年的一项分析发现，84% 的代码库至少包含一个已知的开源漏洞，91% 的代码库拥有过时版本的开源组件。 Sonatype 的一项研究发现，2022 年，供应链攻击的数量同比增长了 633%。 去年，拜登-哈里斯政府发布了一项行政命令，以提高软件供应链的安全性，并成立了一个网络安全安全审查委员会，负责分析网络攻击，并就未来的保护措施提出建议。2022 年 5 月，白宫联合开源安全基金会和 Linux 基金会，呼吁在两年内提供 1.5 亿美元资金，以解决突出的开源安全问题。 但随着人工智能网络挑战赛的启动，拜登政府显然认为人工智能在网络防御中可以发挥更大的作用。 亚当斯说：”人工智能网络挑战赛提供了一个机会，让我们探索当网络安全和人工智能领域的专家能够获得一套前所未有的跨公司综合资源时，会有哪些可能。如果我们取得成功，我希望看到人工智能网络挑战赛不仅能在这一领域产生下一代网络安全工具，还能展示如何通过在这里捍卫人工智能的关键基础来利用人工智能改善社会。” 虽然关于人工智能协助网络攻击的潜力–例如通过生成恶意代码–的文章已经写了很多，但一些专家认为，人工智能的进步可以使安全专业人员更高效地执行安全任务，从而有助于加强组织的网络防御。根据 Kroll 公司对全球商业领袖进行的一项调查，超过半数的商业领袖表示，他们正在最新的网络安全工作中使用人工智能。 参加人工智能网络挑战赛的团队将参加 2024 年春季的资格赛，得分最高的团队（最多 20 个）将受邀参加 2024 年年度 DEF CON 大会的半决赛。最多有 5 个团队将获得 200 万美元的奖金，并继续参加 2025 年 DEF CON 大会的决赛。最后一轮比赛的前三名将获得额外奖励，其中第一名将获得 400 万美元奖金。 所有获胜者都会被要求开源他们的人工智能系统–但不是必须。 人工智能网络挑战赛以白宫之前在今年的 EF CON 上宣布的模型评估为基础，该评估旨在确定类似 OpenAI 的 ChatGPT 的大型语言模型可被恶意利用的方式，如果运气好的话，还能找到解决这些漏洞的方法。此外，该评估还将衡量这些模型如何与拜登-哈里斯政府的”人工智能权利法案”蓝图和美国国家标准与技术研究院的人工智能风险管理框架中最近概述的原则和实践保持一致。     转自cnBeta，原文链接:https://www.toutiao.com/article/7265492925084156435/?log_from=e4d9a1a5a9705_1691647459426 封面来源于网络，如有侵权请联系删除

近日，国家网信办联合国家发展改革委、教育部、科技部、工业和信息化部、公安部、广电总局公布《生成式人工智能服务管理暂行办法》（以下称《办法》），自2023年8月15日起施行。国家互联网信息办公室有关负责人表示，出台《办法》，旨在促进生成式人工智能健康发展和规范应用，维护国家安全和社会公共利益，保护公民、法人和其他组织的合法权益。 近年来，生成式人工智能技术快速发展，为经济社会发展带来新机遇的同时，也产生了传播虚假信息、侵害个人信息权益、数据安全和偏见歧视等问题，如何统筹生成式人工智能发展和安全引起各方关注。出台《办法》，既是促进生成式人工智能健康发展的重要要求，也是防范生成式人工智能服务风险的现实需要。 《办法》提出国家坚持发展和安全并重、促进创新和依法治理相结合的原则，采取有效措施鼓励生成式人工智能创新发展，对生成式人工智能服务实行包容审慎和分类分级监管，明确了提供和使用生成式人工智能服务总体要求。提出了促进生成式人工智能技术发展的具体措施，明确了训练数据处理活动和数据标注等要求。规定了生成式人工智能服务规范，明确生成式人工智能服务提供者应当采取有效措施防范未成年人用户过度依赖或者沉迷生成式人工智能服务，按照《互联网信息服务深度合成管理规定》对图片、视频等生成内容进行标识，发现违法内容应当及时采取处置措施等。此外，还规定了安全评估、算法备案、投诉举报等制度，明确了法律责任。 国家互联网信息办公室有关负责人指出，生成式人工智能服务的发展与治理需要政府、企业、社会、网民等多方参与，共同促进生成式人工智能健康发展，让生成式人工智能技术更好地造福人民。     转自Freebuf，原文链接:https://www.freebuf.com/articles/371964.html 封面来源于网络，如有侵权请联系删除

英国国防部的国防科技实验室（Dstl）宣布它正在建立国防人工智能研究中心（DCAR）。它是与专注于人工智能和数据科学的艾伦·图灵研究所共同发起的，通过DCAR，政府希望能够帮助人工智能软件更快地发展。希望DCAR能促进英国经济以及国家的防务。 Dstl的高级首席科学家Glen Hart在评论时说： “DCAR将成为一个卓越的中心，为在国防背景下开发和应用人工智能提供真正的重点。” 政府概述了DCAR将帮助推进人工智能的以下领域： 短距离学习 – 训练机器学习的能力，而不需要大量的数据 人工智能在战争游戏中的应用 了解人工智能模型的局限性 协同管理多个传感器的技术 围绕人进行的人工智能研究 人工智能伦理学 在工作方面，预计国防人工智能研究中心将从9月起创造5至8个新的学术职位，但这个数字可能会进一步增长。阿兰-图灵研究所计划向全国各地的大学伸出橄榄枝，为DCAR的职位寻找最优秀的人才。 转自 cnBeta，原文链接：https://www.cnbeta.com/articles/tech/1292587.htm 封面来源于网络，如有侵权请联系删除

宾夕法尼亚州立大学和卡塔尔哈马德-本-哈利法大学的研究人员表示，推特上的推文所表达的情绪和情感可以被实时用来评估大流行病、战争或自然灾害供应链中断可能导致的粮食短缺。 他们发现，在COVID-19大流行的早期，在美国某些州，表达愤怒、厌恶或恐惧的与食品安全有关的推文与实际的食品不足密切相关。研究人员说，这些发现有可能被用来开发一个低成本的早期预警系统，以确定哪里最需要食品安全干预措施。 研究人员表示，COVID-19大流行病的发生及其相关的供应链中断引发了全世界对食物获取和供应的担忧，许多人在社交媒体上表达了这些担忧。研究人员想看看实时推文是否可以用来确定面临粮食供应或不安全问题的特定州或地区。研究人员不是只看与食物不足有关的推文数量，而是想知道人们对他们的食物状况的实际感受。利用人工智能，他们确定了与推文相关的情绪和情感，这使他们能够将表达对食品供应的担忧的推文与表达救济或满足的推文分开。 在分析的推文中，最常表达的情绪是喜悦，研究人员将其解释为反映了广泛的宽慰，即尽管早期对食物短缺的担忧，美国的食物供应在大流行期间仍然相对稳定。表达愤怒、厌恶和恐惧等负面情绪的推文与某些州的实际食物不足问题密切相关。为了开展这项上周在线发表在《应用经济视角与政策》杂志上的研究，研究人员使用了一个被称为GeoCoV19的数据集，其中包含来自世界各地的数亿条与COVID-19有关的多语言推文。他们只选择了源自美国并在2020年2月1日至8月31日期间发布的英语推文。他们进一步缩小了所得推文的范围，只包括那些含有与粮食不安全有关的语言的推文。 他们使用的人工智能语言模型可以检测出这些推文中负面、中性和正面的情绪；以及愤怒、厌恶、恐惧、喜悦、悲伤、惊讶或中性的情绪。研究人员还绘制了美国各州的推文，以便将他们的发现与美国人口普查家庭脉搏调查（HPS）的实际食物不足数据进行比较，该调查是每周在网上对随机选择的美国家庭代表样本进行的全国性调查，询问参与者在前一周和大流行病开始之前是否有时或经常没有足够的食物。 当对所有州的六个月期间进行平均时，表达愤怒、厌恶和恐惧情绪的推文与HPS中报告的实际州级食物不足率明显相关。在州一级，表达恐惧的推文与加利福尼亚州、伊利诺伊州、纽约州、德克萨斯州和威斯康星州的实际食物不足率的相关性最强。表达愤怒或厌恶的推文与加利福尼亚州、伊利诺伊州、纽约州、德克萨斯州和威斯康星州的食物短缺率呈正相关。   转自 cnBeta ，原文链接：https://www.cnbeta.com/articles/tech/1261545.htm 封面来源于网络，如有侵权请联系删除