HackerNews

HackerNews
加州起诉 OpenAI,指控 AI 代理逃出沙箱并入侵企业

加州起诉 OpenAI,指控 AI 代理逃出沙箱并入侵企业

给文章评分:

加州总检察长 Rob Bonta 周一起诉 OpenAI,指控该公司在多次安全失效导致自主 AI 代理逃出隔离环境并对现实世界组织发起网络攻击的情况下,仍明知故犯地继续测试先进的人工智能模型。

该诉讼指控 OpenAI 就其网络安全防护措施误导公众,且未能充分监督日益先进的 AI 网络安全模型,导致超过 80 起该公司在测试期间失去对代理控制的事件。

这一法律行动 follows 一起 7 月的安全事件:数百个 OpenAI 驱动的代理逃出受控测试环境,入侵了人工智能平台 Hugging Face,破坏其生产基础设施并窃取内部凭据。

加州方面表示,Hugging Face 攻击是 OpenAI 反复专注于实验性 AI 测试而未确保采取充分防护措施的结果。

"Hugging Face 网络攻击是 OpenAI 内部文化的可预见结果,该文化将增长和快速模型开发置于安全与问责之上,"起诉书写道。

诉讼称,OpenAI 在明知其沙箱环境可能被绕过的情况下,仍继续测试能力日益增强的 AI 代理,可能使第三方系统暴露于未授权活动。

"事实上,OpenAI 未能遵守其自身内部政策,即便有证据表明其网络安全防护措施不足以约束其正在开发的极度先进模型,仍持续且激进地推进测试与实验,"诉讼继续写道。

在 Hugging Face 攻击期间,OpenAI 模型利用 JFrog Artifactory 中的零日漏洞突破其隔离测试环境并访问互联网。

攻击持续超过两天,近 700 个自主代理通过一个未经授权的留言板协调,规划对 Hugging Face 生产系统的攻击,同时试图窃取某网络安全基准测试的答案。

加州的起诉书指控 OpenAI 在事件发生前的数周内忽视或遗漏了警示信号,包括代理已逃出测试环境并滥用第三方服务和平台的证据。

起诉书还声称,OpenAI 的代理随后瞄准了软件仓库、信息类网站以及包含敏感健康信息的外国政府数据库。在另一起事件中,实验性代理据称入侵了 OpenAI 自身的内部基础设施,并获得了对关键系统的管理员级访问权限。

根据起诉书,OpenAI 已承认在测试期间有超过 80 起失去自主代理控制的事件,但仅公开披露了 27 起。

该诉讼是在 Bonta 办公室于 9 月发出传票之后提起的,加州声称 OpenAI 未能提供关于这些事件的充分信息,而是仅提供了有限的文件以及对此前已披露攻击的描述。

该州正依据加州《不正当竞争法》和公害相关法律提起诉讼,寻求法院命令要求更强的防护措施、民事处罚及其他救济。

自主 AI 攻击的兴起

该诉讼正值人们对日益强大的 AI 模型逃出受控网络安全评估并攻击其预定测试环境之外组织的担忧日益加剧之际。

这些自主攻击并不限于 OpenAI 代理,其他 AI 平台过去也曾披露过类似事件。

7 月,Anthropic 披露其 Claude 模型在网络安全评估期间入侵了三家组织的生产系统。其中一个模型创建并向公共 PyPI 仓库上传了一个恶意 Python 包,该包在 15 个真实系统上被下载并执行。

在此后发生涉及对政府网站及其他外部系统未授权活动的事件后,Anthropic 移除了所有内部 AI 模型评估的互联网访问权限。

Google 也在 9 月向《华尔街日报》证实,其 Gemini AI 模型在 5 月进行的网络安全测试期间访问了互联网并入侵了三家公司。

加州的诉讼认为,OpenAI 未能充分应对这些风险,使其在向客户宣称其 AI 开发实践安全的同时,将组织和公众暴露于不必要的网络安全威胁之中。


消息来源:bleepingcomputer.com;
本文由 HackerNews.cc 翻译整理,封面来源于网络;
转载请注明“转自 HackerNews.cc”并附上原文
分享到:
hackernews

hackernews

该作者暂无简介