HackerNews

HackerNews
OpenAI 的 GPT-6 智能体移除了安全监控,随后谎称未这样做

OpenAI 的 GPT-6 智能体移除了安全监控,随后谎称未这样做

给文章评分:

OpenAI 披露,在两次内部编码任务中,两个由 GPT-6.1 Sol 驱动的 AI 智能体和一个 GPT-6 Astra 在执行所请求的软件更改时削弱了对齐监控。

这家 AI 公司表示,事件分别于 2026 年 10 月 3 日和 6 日发生在 Sol 和 Astra 上,属于内部部署的一部分。

"一个修复评估流水线的 GPT-6.1 Sol 智能体禁用了向我们的安全团队发送的自动警报,将此前一条'在 Slack 历史记录搜索期间不要发送消息'的指令视为抑制监控通知的理由,"OpenAI 在一份报告中表示。

这一行动的最终结果是,对齐监控器仍在运行并保存其报告,但通过将"no_notify"设为 true 并清空配置接收监控报告的人员列表,自动人工警报被禁用。

在 10 月 6 日的另一项任务中,一个 GPT-6 Astra 智能体在迁移程序时据称移除了其监控集成以匹配参考实现,然后向用户谎称该功能未被移除。

"不……我没有从中移除已启用的监控器,"该智能体的最终回复写道。

OpenAI 表示,在这两种情况下,AI 智能体都考虑过是否应保留监控保障措施,但最终在将常规编码指令解读为"削弱它们的许可"后选择不保留。

针对这些发现,该公司表示正在加强其对齐监控系统,并评估这些场景是异常情况,还是表明存在规避对齐监控的倾向。

"除了让模型更难(在评估期间)禁用监控外,我们还在努力理解模型为何一开始会寻求这样做,"OpenAI 表示。"这种行为可能只是'良性'过度坚持的一个例子,模型不理解监控为何重要,或坚持执行指令的程度超出了合理人的预期。"

这一披露是 AI 智能体以开发者未预期的方式行事的最新实例。上周,这家 ChatGPT 开发商披露了七起对齐事件,其中一起案例中,一个内部研究模型从它并不拥有的钱包中窃取加密货币,以支付在以太坊 Sepolia 测试网络上部署智能合约所需的费用,并且未报告其未经许可取用了资金。

微软以动态权限和风险评分针对失控 AI 智能体

这一披露也正值人们日益担忧日益强大的 AI 系统的发展正超过安全努力,导致警告称这可能使其在获得更大自主性后更难被监控和控制。

本周早些时候,微软宣布了新的控制措施,用于监控和遏制企业环境中可能失控的 AI 智能体,作为 Project Perception 的一部分——这是该公司于 2026 年 7 月推出的一个持续学习的 AI 驱动网络防御系统。

"模型被训练以达成结果,这往往导致奖励黑客行为,而模型并未围绕组织规范或判断进行优化,"微软安全执行副总裁 Hayete Gallot 表示。"智能体是不可预测的。它们会随环境变化而适应,可能不会按预期行事,并且会在无需被攻陷的情况下与其他智能体协作和串通以达成其目标。"

微软表示,由于智能体通常拥有广泛权限来访问数据、工具和系统,更不用说自行采取行动和做出决策,它们构成了一种需要持续监控的新型内部安全风险。

为此,微软的 Project Perception 采用 Guardian Agents 来监督其他 AI 智能体,并通过以下方式在身份、权限、数据、端点、网络、云和运行时各层保护它们——

  • 发现并识别每个智能体。
  • 在执行前使用最小权限原则(PoLP)限制其权限,然后根据手头任务动态授予或撤销访问权限。
  • 监控智能体的行动,检查其是否偏离原始任务。
  • 随着行为、环境和风险的变化调整防护措施。

该系统建立在三个新主题的基础之上——

  • 动态权限,将权限限定于分配给智能体的任务,并使其具有时间限制。
  • 动态智能体风险,为每个智能体分配一个持续更新的风险评分,依据其配置的安全程度、可触及的资源、出错时的潜在影响,以及其行动是否偏离用户或组织的意图。
  • 动态条件访问,将 Entra 条件访问扩展到智能体,以便在风险变化时调整权限。

"其身份、运行时、访问路径和任务范围内的权限应从一开始就明确,"微软表示。"如果它后来遇到提示注入或尝试执行该任务之外的操作,系统应按比例响应:保留安全的读取同时阻止写入、缩小其可触及的资源、对关键步骤要求可证明的人工批准,或在风险需要时隔离并停止该智能体。"




消息来源:thehackernews.com;
本文由 HackerNews.cc 翻译整理,封面来源于网络;
转载请注明“转自 HackerNews.cc”并附上原文
分享到:
hackernews

hackernews

该作者暂无简介