微软和OpenAI通过监测大模型使用记录，找出全球APT组织的使用痕迹，并对相关帐号和资产进行封禁。 安全内参消息称，过去几年来，网络威胁生态系统的发展揭示了一个共同主题，即威胁行为者与企业防守方同步跟随技术趋势。和企业防守方一样，威胁行为者正在关注大语言模型等人工智能技术，希望借以提高生产力，并利用可访问的平台来推进目标实现、提升攻击技术。 微软与OpenAI合作对网络威胁生态进行研究，尚未发现大家密切关注的大语言模型被用于重大攻击。不过，微软认为这项重要研究成果需要公开发布，因为它揭示了目前观察到的知名威胁行为者正在尝试的早期、渐进性举措，并给出应该如何阻止和应对这些行为者的措施。 攻击者会持续对人工智能保持兴趣，并探索当前技术的功能和安全控制措施。重要的是，我们需要将这些风险置于具体情境中加以理解。像多因素身份验证和零信任防御等网络卫生实践一样重要，因为攻击者可能利用基于人工智能的工具，来改进其现有的网络攻击模式，比如通过社会工程学试图找到未受保护的设备和帐号。 本文列举了一些威胁行为者的活动示例。网络安全行业迫切需要使用MITRE的ATT&CK框架或ATLAS知识库更新，更好地跟踪它们的战术、技术和程序（TTPs）。 森林暴雪 森林暴雪（STRONTIUM）是俄罗斯军事情报机构GRU第26165单位相关的俄罗斯军事情报行为者，其主要目标是对俄罗斯政府具有战术和战略利益的受害者。他们的活动覆盖了多个行业，包括国防、交通/物流、政府、能源、非政府组织和信息技术等。 俄乌战争期间，森林暴雪一直积极攻击与冲突有关的组织。微软认为，无论是在乌克兰还是在更广泛的国际社会，森林暴雪的行动都有力地支持了俄罗斯的外交政策和军事目标。森林暴雪与其他研究人员跟踪的威胁行为者（如APT28和Fancy Bear）有所重叠。 森林暴雪主要使用大语言模型对各种卫星和雷达技术进行研究，这些技术可能与在乌克兰进行的常规军事行动或支持网络攻击的通用研究有关。根据这些观察，相关TTPs分类描述如下： 大语言模型指导的侦察：与大语言模型交互以了解卫星通信协议、雷达成像技术和特定技术参数。这些交互行为表明威胁行为者试图更为深入地了解卫星的能力。 大语言模型增强的脚本技术：寻求在基本脚本任务中提供支持，包括文件操作、数据选择、正则表达式和多处理，以期自动化或优化技术操作。 据微软观察，森林暴雪的大语言模型互动与鲑鱼台风（Salmon Typhoon）类似，说明对手在探索如何使用新技术。与其他对手一样，与森林暴雪相关的所有帐号和资产已被禁用。 翡翠雨 翡翠雨（THALLIUM）是归属朝鲜的威胁行为者，在2023年一直保持高度活跃。最近，他们依靠钓鱼邮件来窃取和收集对朝鲜问题具有专业知识的知名人士的情报。据微软观察，翡翠雨冒充声望良好的学术机构和非政府组织，诱使受害者回复有关与朝鲜有关的外交政策的专家见解和评论。翡翠雨与其他研究人员跟踪的威胁行为者（如Kimsuky、Velvet Chollima）有所重叠。 翡翠雨使用大语言模型支持上述活动，涉及对朝鲜问题智库和专家的研究，以及生成可能用于钓鱼攻击的内容。翡翠雨还与大语言模型互动，以了解公开已知的漏洞、排除技术问题、帮助使用各种网络技术。根据这些观察，相关TTPs分类描述如下： 大语言模型辅助的漏洞研究：与大语言模型交互，以更好地了解公开报道的漏洞，例如CVE-2022-30190微软支持诊断工具（MSDT）漏洞（称为Follina）。 大语言模型增强的脚本技术：利用大预言模型进行基本的脚本编写任务，例如对系统中的某些用户事件进行程序化识别，并寻求帮助排除故障、理解各种Web技术。 大语言模型支持的社会工程学：利用大语言模型协助起草和生成可能用于针对具有区域专业知识的个人的钓鱼攻击的内容。 大语言模型指导的侦察：与大语言模型交互，以识别重点关注国防问题或朝鲜核计划的朝鲜问题智库、政府组织或专家。 与翡翠雨相关的所有帐号和资产均已被禁用。 深红沙尘暴 深红沙尘暴（CURIUM）是归属伊朗的威胁行为者，被认为与伊斯兰革命卫队（IRGC）有联系。至少自2017年以来保持活跃。深红沙尘暴已针对多个行业进行了攻击，包括国防、海运、交通运输、医疗保健和技术。这些行动经常依赖于诱饵攻击和社会工程，以传递定制的.NET恶意软件。此前研究发现，其使用基于电子邮件C2通道的定制恶意软件。深红沙尘暴与其他研究人员跟踪的威胁行为者（如Tortoiseshell、Imperial Kitten和Yellow Liderc）有所重叠。 深红沙尘暴对大语言模型的使用，与安全社区观察到的其更广泛行为特征相符。该威胁行为者与大语言模型的交互包括寻求社会工程方面的支持、帮助排除故障、.NET开发以及攻击者在受损计算机上如何避免检测的方式。根据这些观察，相关TTPs分类描述如下： 大语言模型支持的社会工程学：与大语言模型交互以生成各种钓鱼邮件，包括假冒来自国际发展机构的邮件和试图诱使著名女权主义者访问攻击者构建的女权主义网站的邮件。 大语言模型增强的脚本技术：使用大语言模型生成支持应用程序和Web开发的代码片段，与远程服务器交互，Web抓取，在用户登录时执行任务，以及通过电子邮件发送系统信息等。 大语言模型增强的异常检测规避：试图利用大语言模型辅助开发代码以规避检测，学习如何通过注册表或Windows策略禁用防病毒软件，并在应用程序关闭后删除目录中的文件。 所有与深红沙尘暴相关的帐号和资产均已禁用。 大语言模型领域的TTPs 基于以上分析的见解，以及人工智能的其他潜在滥用行为，微软梳理了大语言模型主题的TTPs清单，并将其映射并分类到MITRE ATT＆CK框架或ATLAS知识库中，为社区提供一种共同的分类方法，便于联手跟踪大语言模型的恶意使用并创建对策： 大语言模型指导的侦察：利用大语言模型收集关于技术和潜在漏洞的可行情报。 大语言模型增强的脚本技术：利用大语言模型生成或完善可用于网络攻击的脚本，或用于基本的脚本编写任务，如在系统上编程识别特定用户事件并协助故障排除和理解各种网络技术。 大语言模型辅助开发：在工具和程序的开发生命周期中利用大语言模型，开发包括恶意软件在内的恶意工具。 大语言模型支持的社会工程学：利用大语言模型辅助翻译和沟通，可能用于建立联系或操纵目标。 大语言模型辅助漏洞研究：利用大语言模型了解并识别软件和系统中的潜在漏洞，这些漏洞可能成为攻击目标。 大语言模型优化的载荷制作：利用大语言模型协助创建并完善用于部署网络攻击的载荷。 大语言模型增强的异常检测规避：利用大语言模型开发方法，使恶意活动与正常行为或流量混为一体，以规避检测系统。 大语言模型指导的安全功能绕过：利用大语言模型寻找绕过安全功能的方法，如双因素身份验证、CAPTCHA或其他访问控制。 大语言模型建议的资源开发：在工具开发、工具修改和战略运营规划中利用大语言模型。 总之，人工智能技术将继续发展，并受到各种威胁行为者的研究。微软将继续跟踪威胁行为者和滥用大型语言模型的恶意活动，并与OpenAI等合作伙伴携手分享情报，提高客户保护水平，为更广泛的安全社区提供帮助。   转自安全内参，原文链接：https://www.secrss.com/articles/64624 封面来源于网络，如有侵权请联系删除

当地时间3月21日，联合国大会一致通过了全球第一个关于人工智能（AI）的决议草案，以期能够保护个人数据、保障人权，并能有效监控其安全风险。 该决议由美国提出，包括中国在内的其他121个国家共同参与了制定，耗时达3个月。 决议旨在弥合富裕发达国家和发展中国家之间的数字鸿沟，它们能够同等参与人工智能的相关议题，确保这些国家同样拥有使用人工智能的技术和能力。决议强调了人工智能系统的不当或恶意设计、开发、部署和使用所带来的风险，迫切需要就安全、可靠和值得信赖的人工智能系统达成全球共识。决议还承认人工智能系统的治理是一个不断发展的领域，需要进一步讨论可能的治理方法。 一位高级政府官员表示：“技术日新月异，我们在波涛汹涌的水域中航行，这意味着以我们的价值观为指导比以往任何时候都更加重要。”他将该决议描述为“有史以来第一个真正的全球人工智能共识文件。” 去年 11 月，美国、英国和其他十几个国家公布了第一份关于如何保护AI免受威胁行为者侵害的详细国际协议，推动公司创建“设计安全”的人工智能系统。 但欧洲在立法层面比美国更近一步。当地时间3月13日，欧洲议会正式投票通过并批准欧盟《人工智能法案》。拜登政府一直在向立法者施压，要求对人工智能进行监管，但两极分化的美国国会却几乎没有取得任何进展。白宫在去年 10 月份发布了一项新的行政命令，试图减少人工智能对消费者、工人和少数群体的风险，同时加强国家安全。   转自Freebuf，原文链接：https://www.freebuf.com/news/395599.html 封面来源于网络，如有侵权请联系删除

意大利数据保护监管机构 Garante3月8日宣布，将对 OpenAI 新推出的视频人工智能模型 Sora 展开隐私调查。 监管机构虽然没有对 OpenAI 提出任何具体指控，但表示正在研究 Sora 对意大利（包括欧盟）个人数据使用可能产生的潜在影响，同时给予OpenAI 20 天的时间提供包括如何训练 Sora 算法、公司收集的数据类型以及收集的数据是否包含敏感信息（例如意大利和欧洲公民的政治观点、遗传和健康数据）在内的材料。 该机构还特地要求OpenAI清其向用户和非用户告知其产品 Sora 使用的数据的方式是否符合欧盟法规。 意大利对人工智能的安全审查力度在欧盟国家中一直走在前列。去年，该机构以违反欧洲通用数据保护条例为由，暂时封禁了ChatGPT，直到OpenAI 同意进行包括年龄验证和选择退出表单以从大语言模型中删除个人数据的选项后才得以解封。 在欧盟其他国家，OpenAI因其隐私做法而在德国、法国、西班牙和波兰面临审查。在对人工智能公司的审查力度加大之际，欧盟即将实施《人工智能法案》，禁止AI应用进行例如情绪识别和从闭路电视上抓取面部数据。 目前OpenAI 没有对意大利启动的这项调查进行回应，但该公司从去年12月起便更新了隐私政策，其中提供了有关公司收集的数据以及公司如何处理这些数据的信息。根据修订后的政策，OpenAI 用户可以拒绝出于直接营销或合法利益而处理其数据的请求。   转自Freebuf，原文链接：https://www.freebuf.com/news/394077.html 封面来源于网络，如有侵权请联系删除

Cybernews网站消息，近日，一名攻击者在知名数据泄露论坛上发布了一条帖子，售卖5000万Europcar客户的个人资料。发布该帖子的攻击者声称，获取的敏感信息包括用户名、密码、家庭地址、护照号码等详细信息。 然而，Europcar否认了攻击者出售的数据来源于该公司的说法。 Europcar是一家总部位于法国巴黎的欧洲汽车租赁公司，为全球140个国家提供租赁服务。该公司拥有近9000名员工，2022年报告收入为14亿欧元，折合人民币108亿。 Europcar在接到威胁情报服务通知，称有人在暗网上出售有关该公司的数据后，该公司立即对样本中的数据进行了详尽核查，确信帖子中的数据是假的。 Europcar进一步指出，帖子所提供的记录数量与公司实际持有的记录数量不符，这些记录本身就存在矛盾。举例来说，数据样本中的电子邮件地址在Europcar的数据库里完全查找不到。 声称数据泄露的帖子 该公司表示，样本数据很可能是ChatGPT生成的。地址不存在，邮政编码不匹配，姓名与电子邮件地址不一致，甚至电子邮件地址使用了一些非常不常见的顶级域名（TLDs）。 Cybernews研究团队也对攻击者提供的数据样本进行了研究，证明了样本中用户名与电子邮件地址不相符，且包含了一些不存在的邮政编码属实。 此外，样本数据显示许多人出生于美国，但他们使用的电子邮件域名却来自一些名声不佳的电子邮件服务提供商，这种情况对于正规的汽车租赁服务用户而言并不常见。 目前，无法确定数据是否被盗，但可以肯定的是，攻击者提供的数据样本并不可信。   转自Freebuf，原文链接：https://www.freebuf.com/news/391137.html 封面来源于网络，如有侵权请联系删除

美国国家标准与技术研究院 (NIST) 近日发布了有关对抗性机器学习 (AML) 攻击和缓解措施指南， 呼吁人们再度关注近年来人工智能 (AI) 系统部署增加所带来的隐私和安全挑战，并表示目前没有万无一失的方法对这类系统进行保护。 NIST指出，这些安全和隐私挑战包括恶意操纵训练数据、恶意利用模型漏洞对人工智能系统的性能造成不利影响，甚至是恶意操纵、修改或仅仅是与模型交互，就可以外泄关乎个人、企业甚至是模型本身专有的敏感数据。 伴随着OpenAI ChatGPT 和 Google Bard 等生成式人工智能系统的出现，人工智能系统正快速融入在线服务，但支持这些技术的模型在机器学习操作的各个阶段都面临着许多威胁。NIST ，重点关注了四种主要类型的攻击：逃避、中毒、隐私和滥用。 规避攻击：目的是在模型部署后产生对抗性输出 中毒攻击：通过引入损坏的数据，针对算法的训练阶段进行攻击 隐私攻击：目的是通过提出规避现有防护措施的问题，收集有关系统或其训练数据的敏感信息 滥用攻击：目的是破坏合法的信息来源，如包含错误信息的网页，以重新利用系统的预期用途 在规避攻击中，NIST 以对自动驾驶车辆的攻击作为示例，例如创建令人困惑的车道标记导致汽车偏离道路。 在中毒攻击中，黑客试图在人工智能训练期间引入损坏的数据。例如，通过将大量此类语言实例植入对话记录中，让聊天机器人使用不恰当的语言，以使人工智能相信这是常见的用语。 在隐私攻击中，黑客试图通过询问聊天机器人大量问题，并使用给出的答案对模型进行逆向工程，进而发现弱点来获取有关人工智能或其训练数据中存在的敏感数据。 在滥用攻击中，黑客将不正确的信息插入到源中，例如网页或在线文档，让人工智能吸收这些信息。与前面提到的中毒攻击不同，滥用攻击试图从合法但受损的来源向人工智能提供不正确的信息，以重新调整人工智能系统的预期用途。 NIST表示，上述攻击并不需要完全掌握人工智能系统某些方面的知识就可以轻松实现，希望AI业界能拿出更好的防御措施来应对这些风险。 转自FreeBuf，原文链接：https://www.freebuf.com/news/389195.html 封面来源于网络，如有侵权请联系删除

Meta* 宣布发布 一套用于保护和评估生成人工智能 (AI) 模型的工具。该工具包名为 Purple Llama，旨在帮助开发人员安全地使用生成式 AI 工具，包括Meta 的开源模型Llama-2。 Meta公司博客提到，Purple Llama这个名字来自于红队（Red Team）和蓝队（Blue Team）的组合： 红队涉及开发人员或测试人员攻击人工智能模型以识别错误和不良结果。这使您可以创建策略来抵御恶意攻击并保护模型免受功能故障的影响。 蓝队通过为生产和客户服务中使用的模型确定必要的缓解策略来响应红队攻击。 Meta 认为，为了最大限度地减少与生成人工智能相关的问题，有必要同时采取进攻和防御措施。紫色团队以协作方式结合了这两种角色，以评估和减轻潜在风险。 紫骆驼实施方案 作为新版本的一部分，Meta 声称这是“业界第一套针对大型语言模型 (LLM) 的网络安全评估”。该综合体包括： 量化法学硕士网络安全的指标； 用于评估不安全代码提案频率的工具； 使生成恶意代码或协助网络攻击变得困难的工具。 主要目标是将系统集成到模型工作流程中，以减少不需要的结果和不安全代码的输出，同时降低模型漏洞对网络犯罪分子的有用性。 Meta 表示，随着 Purple Llama 的发布，该公司的目标是提供有助于解决白宫承诺中描述的风险的工具。   转自安全客，原文链接https://www.anquanke.com/post/id/291785 封面来源于网络，如有侵权请联系删除

思科安全副总裁 Jitu Patel在最近于墨尔本举行的 Cisco Live 活动中分享了他对人工智能如何改变我们处理网络安全方式的愿景。 他说，重点可能会从应对网络攻击转向预测和预防网络攻击。一般来说，基于人工智能的自动化系统已经能够提前识别潜在威胁，因此此类解决方案的广泛实施已经为时不远。 随后，公司全新创新产品——思科AI助手正式亮相。该解决方案是将人工智能集成到思科统一跨域安全平台安全云中的重要一步。 Patel 强调：“要成为一家以人工智能为中心的公司，你需要以数据为中心。这项创新为我们的客户提供了内置于思科安全云中的人工智能。” 随着包括勒索软件在内的网络攻击不断增加，思科 AI Assistant 能够及时响应组织的机器级安全需求。 在新产品提供的创新中，值得强调的是用于调整防火墙安全策略的AI助手，它将帮助分析上述策略，提出建议并帮助尽可能高效地配置它们，而无需求助于任何其他策略指自然语言以外的语言。 思科还引入了一种直接检测加密流量中恶意活动的机制，这在以前被认为是一项非常难以实施的任务。 然而，帕特尔表示，实施此类基于人工智能的工具将需要强大的计算能力。因此，该公司打算将此类服务部分货币化。不过，我们并不是在谈论高价格，以免阻碍下一代安全解决方案的广泛采用。 因此，随着人工智能技术的发展，网络威胁防护市场预计将发生重大变化。重点可能会从被动转变为主动，这看起来确实是未来。   转自安全客，原文链接https://www.anquanke.com/post/id/291756 封面来源于网络，如有侵权请联系删除

内容创作者希望通过毒害数据来保护他们的知识产权免受人工智能的侵害。这会破坏机器学习生态系统吗？专家警告说，专注于通过抓取已发布内容来创建人工智能模型的公司之间的军备竞赛，以及希望通过污染数据来保护其知识产权的创作者之间的军备竞赛可能会导致当前机器学习生态系统的崩溃。当人工智能(AI)大型语言模型在机器（而不是人类）生成的数据上进行训练时，会导致模型崩溃。模型崩溃的催化下，生成式人工智能的退化不可避免。这导致连锁反应，生成更不靠谱的数据，训练出更加不靠谱的模型。 在8月发表的一篇学术论文中，芝加哥大学的计算机科学家提供了一项技术，可以防御大规模抓取内容（特别是艺术品）的行为，并阻止使用这些数据来训练人工智能模型。这一努力的结果将污染基于数据训练的人工智能模型，并阻止它们创建风格相似的艺术品。 另外一篇论文则强调，这种故意污染将与人工智能在企业和消费者中的广泛采用同时发生，这一趋势将使在线内容的构成从人类生成转变为机器生成。随着越来越多的模型在其他机器创建的数据上进行训练，递归循环可能会导致“模型崩溃”，即人工智能系统与现实脱节。 数据退化不可避免 英国和加拿大研究人员的一项研究表明，当人工智能(AI)大型语言模型在机器（而不是人类）生成的数据上进行训练时，会导致模型崩溃。模型崩溃的催化下，生成式人工智能的退化不可避免。这导致连锁反应，生成更不靠谱的数据，训练出更加不靠谱的模型。有专家形象地称这为数据乱伦！ “换句话说，大规模使用[大型语言模型]在互联网上发布内容将污染训练它们的数据集，”该论文表示。 随着越来越多的人工智能生成的文本和合成数据在线发布，这给未来训练生成人工智能带来了问题。 Open AI的ChatGPT和Alphabet的Bard等大型语言模型最初主要使用从互联网上抓取的人类生成文本进行训练，并使用进一步的人类输入进行微调。 但是，越来越多的在线内容也是由人工智能模型本身创建的。 当人工智能模型从机器生成的数据而不是人类创建的数据中学习时，“即使保留了一些原始数据，在几次迭代内也会发生重大退化，”他说。 “优化缺陷、有限模型和有限数据带来的错误最终会导致合成数据质量较低。随着时间的推移，错误会变得更加复杂，最终迫使从生成的数据中学习的模型进一步误解现实。” 贝里维尔机器学习研究所(BIML)联合创始人加里·麦格劳(Gary McGraw)表示，数据退化已经发生，可能会给未来的人工智能应用带来问题，尤其是大型语言模型(LLM)。 “如果我们想要拥有更好的LLM，我们需要让基础模型只吃好东西，”他说。“如果你认为他们现在所犯的错误很糟糕，那么你就等着看他们犯下自己的错误并犯下更明显的错误时还可能会发生什么。” 数据中毒 随着研究人员继续研究数据中毒问题，这一问题引起了人们的担忧。数据中毒可以是对未经授权的内容使用、对人工智能模型的攻击或人工智能系统不受监管使用后的自然进展的防御。例如，开放全球应用程序安全项目(OWASP)于8月1日发布了大型语言模型应用程序的十大安全问题列表，将训练数据中毒列为LLM的第三大威胁。 一篇关于防止未经许可模仿艺术家风格的防御措施的论文强调了数据中毒的双重性质。芝加哥大学的一组研究人员创建了“风格斗篷”，这是一种对抗性人工智能技术，可以修改艺术品，使经过数据训练的人工智能模型产生意想不到的输出。研究显示，他们的方法被称为“Glaze”，已成为Windows和Mac中的免费应用程序，下载量已超过74万次，并在USENIX安全研讨会上获得了2023年互联网防御奖。 软件安全公司Contrast Security的首席产品官、OWASP Top-10的负责人Steve Wilson表示，虽然他希望人工智能公司和创作者社区能够达到平衡，但目前的努力可能会导致更多的问题而不是解决方案。 “正如恶意行为者可能会引入误导性或有害数据来破坏人工智能模型一样，‘扰动’或‘风格斗篷’的广泛使用也可能会产生意想不到的后果，”他说。“这些问题可能会降低有益的人工智能服务的性能，也会造成法律和道德困境。” 数据鱼龙混杂（好的、坏的和有毒的） 如果不引入人类内容创作者，专注于创建下一代人工智能模型的公司将面临风险。人工智能模型依赖于人类创建的内容，而未经许可的内容的广泛使用造成了一种分离性的断裂：内容创建者正在寻找保护其数据免遭意外使用的方法，而人工智能系统背后的公司则旨在使用这些内容进行培训。 防御措施以及互联网内容从人类创建到机器创建的转变可能会产生持久的影响。根据加拿大和美国大学的一组研究人员发表的论文，模型崩溃被定义为“影响一代代学习生成模型的退化过程，生成的数据最终会污染下一代模型的训练集”。 研究人员表示，“如果我们要维持从网络上抓取的大规模数据进行训练的好处，就必须认真对待模型崩溃”。“事实上，当LLM在从互联网上爬取的数据中生成内容时，收集到的有关人类与系统的真实交互的数据的价值将变得越来越有价值。” Contrast Security的Wilson表示，当前的大型人工智能模型——假设它们赢得了创作者带来的法律诉讼——可能会找到绕过正在实施的防御措施的方法。他说，随着人工智能和机器学习技术的发展，他们将找到检测某些形式的数据中毒的方法，从而使防御方法的效率降低。 此外，更具协作性的解决方案，例如Adobe的Firefly（它用数字“营养标签”标记内容，提供有关用于创建图像的来源和工具的信息）可能足以保护知识产权，而不会过度污染生态系统。 然而，这些方法是“一种创造性的短期解决方案，但不太可能成为长期防御人工智能生成的模仿或盗窃的灵丹妙药”，威尔逊说。“重点或许应该放在开发更强大、更道德的人工智能系统上，并辅之以强有力的法律框架来保护知识产权。” BIML的McGraw认为，如今致力于大型语言模型(LLM)的大公司应该大力投资以防止互联网上的数据污染，并且与人类创造者合作符合他们的最大利益。 “他们需要找到一种方法将内容标记为‘我们制作的，所以不要将其用于培训’——本质上，他们可能只是自己解决问题，”他说。“他们应该想这样做……我不清楚他们是否已经吸收了这一信息。” LLM的救赎之路 可以设想多种方法来解决LLM训练中复杂的数据问题。先发优势方法强调保留对原始人类生成数据源的访问。使用有错误的数据会给模型的学习过程带来缺陷，导致对现实的理解出现偏差。随着时间的推移，这些误解会被放大，削弱人工智能的实用性。 区分人工智能生成的数据和人类生成的数据很困难。因此，还必须考虑采用社区范围的协调方法，以确保参与LLM创建和部署的不同实体共享确定数据源所需的信息。确保原始数据中的少数群体在后续数据集中得到公平的代表也很重要，不仅在数量上，而且在其独特属性方面。 随着人工智能模型越来越多地吞噬机器生成的内容，模型崩溃的阴影变得越来越大。为了抵御令人难以忘怀的深渊并挽救这一变革性技术，迫切需要强大的数据收集、准确的注释和全社区的协调。     转自安全内参，原文链接:https://www.secrss.com/articles/58441 封面来源于网络，如有侵权请联系删除

随着生成式人工智能技术的快速普及，对人工智能生成内容的检测需求不断增长。谷歌近日推出了SynthID的测试版，这是一种识别人工智能生成的图像并为其添加水印的工具。 SynthID最初将提供给数量有限的Imagen用户，Imagen是谷歌基于云的人工智能模型，用于从文本生成图像。 SynthID可将数字水印直接嵌入到Imagen生成的图像的像素中，对人眼不可见，但可以通过特定软件检测到。 谷歌的研究人员表示：“SynthID添加的水印不会影响图像质量，并且即使在添加滤镜、更改颜色以及使用各种有损压缩方案（最常用于JPEG）保存等修改之后，水印仍可被检测到。” SynthID使用两个经过各种图像训练的深度学习模型。一个添加难以察觉的水印，另一个通过提供三个图像识别置信度来确定图片是否由Imagen生成。 虽然元数据（存储有关谁创建图像文件以及何时创建的详细信息的数据）也通常用于识别人工智能图片，但元数据可能在图片编辑过程中被更改或丢失，而SynthID的水印集成到图像像素中，即使在元数据丢失时也仍然可以检测到。 谷歌表示，在不久的将来，SynthID可以扩展到其他人工智能模型（生成的图片），集成到更多谷歌产品中，并提供给第三方。     转自GoUpSec，原文链接:https://mp.weixin.qq.com/s/L1nDNTcUsgq-U6GOFyWDBQ 封面来源于网络，如有侵权请联系删除

Hackernews 编译，转载请注明出处： 周二，谷歌公布了一系列新的人工智能技术和合作关系，其中包括名为“Gemini（双子座）”的新旗舰人工智能模型、定制的人工智能芯片、用于识别人工智能艺术品的隐形水印，以及用于工作的其他大型商业驱动的AI工具。 谷歌在周二于旧金山举行的Next会议上宣布了这一消息，此举似乎是为了与OpanAI周一宣布的ChatGPT-4企业平台竞争。 这一系列公告是谷歌最近展示其人工智能计划的一部分，从去年开始，微软就推出了一项雄心勃勃的人工智能战略，让谷歌措手不及。 谷歌表示，其新版本可以将业务和人工智能整合到一个平台上。Genesis将成为GPT-4的直接竞争对手，其计算能力是GPT-4的五倍。 这款大型语言模型是在谷歌的TPUv5芯片上训练的，能够与16384个芯片同时操作。 这家Alphabet旗下的公司计划在2023年12月向公众发布 Gemini模型。 超过100个AI模型 谷歌宣布自己AI基础设施的新版本提高了性能并增加了功能。 该新工具包括“工作区中的Duet AI”，它将帮助客户在其应用程序中使用Docs写作、在Gmail中起草电子邮件，以及在幻灯片中生成自定义视觉效果等。 “我们已经发布，并将继续增强和扩展这个插件，以响应客户的强劲需求。这些工具已经接受了100多万用户的测试。”谷歌表示道。 为了支持企业云服务，谷歌在其集合中增加了20个人工智能模型，使总数达到100个。 AI基础设施包括让谷歌云客户访问Meta平台的人工智能模型LLaMa 2，以及初创公司Anthropic的Claude 2。 谷歌将以每月30美元的价格向企业客户提供其新的人工智能驱动工具。     消息来源：cybernews，译者：Linn；   本文由 HackerNews.cc 翻译整理，封面来源于网络；   转载请注明“转自 HackerNews.cc ” 并附上原文