核破坏恶意软件基准测试难倒了大多数前沿 AI 模型

SentinelOne 构建了它所谓的首个面向前沿 AI 模型的长期逆向工程基准测试，使用其自身对近期记录的 Fast16 恶意软件的调查作为测试案例。
Fast16 由 SentinelOne 的 SentinelLabs 于 4 月详细披露，是一个 2005 年的 Windows 恶意软件，旨在干扰 LS-DYNA，这是一种工程软件，似乎被伊朗用作其核武器开发计划的一部分。
与臭名昭著的 Stuxnet（它早于 Stuxnet）类似，Fast16 可能由美国开发，并用于破坏伊朗的核计划。
SentinelLabs 的研究人员对 OpenAI 的 GPT-5.5 和最新的 GPT-5.6 Sol 模型、Z.ai 的 GLM-5.2 以及 Anthropic 的 Opus 4.x 进行了测试，以观察哪些模型能够对 Fast16 恶意软件进行彻底调查。
SentinelLabs 的基准测试并非根据孤立任务对模型进行评分，而是跟踪模型在八个逐步升级的阶段中，当新证据反复推翻其自身早期结论时，是否能够维持可信的调查。
GPT-5.6 Sol 是唯一完成全部八个阶段的测试模型，并在不同的推理努力设置下进行了三次独立运行。
GPT-5.5、GLM-5.2 以及 Opus 4.7 和 4.8 产生了可靠的局部分析，但随后停滞不前。GPT-5.5 从未通过初始阶段，而 Opus 模型倾向于在缺陷解决之前就宣布工作完成。
SentinelLabs 将这种差距归因于并非技术技能或洞察力，而是其所谓的"项目级恢复能力"。这是指模型撤回被证伪的结论、追溯所有依赖该结论的下游环节、修复根本原因，并在整个调查过程中贯彻该修正的能力，而不仅仅是修补眼前的错误。
SentinelLabs 的研究人员得出结论，人类监督仍然至关重要，因为即使是 GPT-5.6 Sol 也犯了重大的技术错误。
"高级逆向工程师仍然至关重要，"研究人员解释道。"即使是最强的运行也出现了语义错误、接受了薄弱的质量控制、并过早地声称准备就绪。我们评估目前的最佳用途是受监督的调查代理，由人类分析师定义目标、暴露盲点并保留最终发布权。"