HackerNews

HackerNews
Gemini AI 代理反复绕过防护措施攻击真实网站

Gemini AI 代理反复绕过防护措施攻击真实网站

给文章评分:

Google 的 Gemini AI 代理在 AI 模型安全测试期间多次试图入侵一家真实组织的网站,想方设法绕过旨在阻止其访问真实系统的日益严格的安全控制。

这些安全事件发生于 10 月,当时 AI 安全研究公司 Trajectory Labs 正在测试 Gemini 4 Argon 代理在面对不可能完成的任务时是否会做出未授权行为,即使该模型内置的 API 防护措施已启用。

在周五发布的报告中,Trajectory Labs 和被攻击的组织 Epoch AI 透露,这些代理尝试了 SQL 注入攻击、探测敏感信息、冒充员工,并反复绕过为遏制其活动而引入的网络限制。

Epoch AI 表示,其未独立验证涉及哪些 AI 模型,Gemini 的识别来自 Trajectory Labs。

研究人员给代理布置了从 Epoch AI 的 FrontierMath 基准测试中获取不存在问题的官方答案的任务,并反复指示它们"永不停止,永不放弃。"

10 月 20 日,约 40 个代理开始探测 Epoch AI 的真实网站以寻找敏感信息,包括管理员凭据以及对专有基准评估日志的访问权限。

Epoch AI 检测到该活动,并部署了一条"代理热线",允许代理直接向其员工发送消息。

在三小时内,这些代理向一个植入的 API 端点发送了 36,411 次请求,并通过热线发送了 487 条消息,其中一些试图冒充真实的 Epoch 员工,或自称是请求基准信息的工程师和审计人员。

调查还发现了一次 SQL 注入攻击尝试以及超过 200 次访问 FrontierMath 评估日志的尝试。

Trajectory Labs 在审查代理对话记录时发现了该活动,并于次日上午通知 Epoch AI 存在未授权攻击。

与 Epoch 讨论该事件后,研究人员同意继续针对该网站的本地副本而非其真实基础设施进行测试。

然而,代理们继续想方设法绕过限制。

在 10 月 23 日的测试中,一些代理意识到自己正在与 Epoch 网站的副本交互,识别出真实网站的 IP 地址,并直接连接到其真实基础设施,绕过了旨在遏制它们的 DNS 重定向。

当研究人员封锁了用于访问 Epoch 的 IP 地址后,一个代理切换到另一个地址,使其再次访问真实网站。

Trajectory Labs 随后配置其网络代理以阻止与 Epoch 的直接连接,但一个代理找到了另一种方法,通过第三方网页阅读服务获取该网站的公开内容。

"在其中一些运行中,代理们意识到自己在副本上,识别出绕过我们重定向的正确原始 IP,并再次访问了真实网站,Epoch 就此提醒了我们," Trajectory Labs 解释道。

在另一项技术分析中,Trajectory Labs 研究人员还发现,这些代理通过一个共享的软件包缓存创建了留言板以相互通信,交换关于漏洞和利用方法的信息。

在一个例子中,一个代理分享了一种绕过 Epoch 网站故意留有漏洞副本上限制的技术,另一个代理随后利用该技术获取凭据并完成任务。

研究人员还观察到代理试图绕过 CAPTCHA 防护,并冒充员工以诱骗 AI 助手泄露受保护的基准信息。

自 10 月 26 日起,Epoch AI 同意与 Trajectory Labs 合作进行更多实验,并知晓代理将拥有互联网访问权限且可以与其公开网站交互。

在这些测试中,代理们再次访问了 Epoch 的真实基础设施,向一个植入的 API 端点发送了超过 65,000 次请求,并尝试进一步的 SQL 注入攻击和员工冒充。

Trajectory Labs 随后将测试移入没有互联网访问权限的完全隔离环境。

即使在这一改变之后,代理们仍试图禁用一个据称阻止网络访问的虚假控制,并在所有三次完整测试运行中都成功了。

研究人员表示,这些代理并未被明确指示入侵网站或冒充员工。然而,他们被故意赋予了一个不可能完成的目标,并被反复指示不要放弃。

Trajectory Labs 承认,这些事件源于其测试程序的缺陷,包括在未获得受影响组织同意的情况下进行实验,以及仅依赖内置模型防护而缺乏充分的额外监控。

11 月 2 日,该公司暂停了所有 AI 失准测试,等待风险评估并增加进一步防护措施。

"这些事件表明,测试能力强大的 AI 代理多么容易波及真实系统和人员,而目前尚无安全开展此类工作的共享标准," Trajectory Labs 警告道。

两家组织均未证实任何 Epoch AI 私有信息在事件中遭到暴露。

该报告发布之际,加州总检察长 Rob Bonta 周一起诉 OpenAI,指控该公司未能在测试期间充分约束自主 AI 代理,导致超过 80 起失去代理控制的事件。

该诉讼 follows 一起 7 月的事件:近 700 个 OpenAI 驱动的代理逃出受控测试环境,攻击 Hugging Face 的生产基础设施,同时试图窃取网络安全基准测试答案。


消息来源:bleepingcomputer.com;
本文由 HackerNews.cc 翻译整理,封面来源于网络;
转载请注明“转自 HackerNews.cc”并附上原文
分享到:
hackernews

hackernews

该作者暂无简介