HackerNews 编译，转载请注明出处： Anthropic 于 2026 年 1 月使用其 Claude Opus 4.6 AI 模型在 Firefox 中发现了 22 个安全漏洞。Mozilla 已在 Firefox 148 版本中修复了这些问题。 研究人员表示，AI 模型如今已能够独立发现高严重级别的软件缺陷。他们在两周内识别出 22 个 Firefox 漏洞，其中 14 个为高严重级别，数量接近 2025 年 Firefox 修复的所有高严重级别漏洞的五分之一，这表明 AI 具备在复杂软件中快速检测关键安全风险的能力。 2025 年末，Anthropic 在 Firefox 上对 Claude Opus 4.6 进行了评估，测试其识别复杂、高影响安全漏洞的能力。起初，该模型成功复现了旧版 Firefox 中许多已公开的历史 CVE 漏洞。随后，研究人员让 Claude 从 JavaScript 引擎开始，寻找此前未被报告过的新漏洞。在二十分钟内，Claude 就识别出一个释放后重用（Use After Free）漏洞，研究团队对其进行了验证，并向 Mozilla 提交了该漏洞及建议补丁。在问题分类处理过程中，Claude 又发现了数十个额外的崩溃问题，最终在近 6000 个 C++ 文件中提交了总计 112 份独立报告。 “在就双方流程进行技术讨论并分享了一些我们手动验证过的其他漏洞后，他们鼓励我们批量提交所有发现，无需逐一验证，即便我们不确定所有崩溃测试用例都存在安全影响。”Anthropic 发布的报告中写道。“到这项工作结束时，我们扫描了近 6000 个 C++ 文件，并提交了总计 112 份独立报告，其中包括上述高、中严重级别的漏洞。” 大多数问题，包括高、中严重级别的漏洞，均已在 Firefox 148 中修复，剩余补丁计划在未来版本中发布。 Mozilla 对此次合作表示赞赏，并已开始在内部尝试使用 AI 辅助安全研究。该项目表明，AI 在快速检测和报告关键软件缺陷方面的能力正在不断提升。 为测试 Claude Opus 4.6 利用漏洞的能力，研究人员向其提供此前提交给 Mozilla 的漏洞，要求其生成可正常运行的漏洞利用程序。Claude 进行了数百次尝试，演示了读取和写入本地文件的攻击，消耗了约 4000 美元的 API 额度。它仅在两个案例中成功生成了可运行的漏洞利用程序，这表明尽管该模型擅长发现漏洞，但利用漏洞的难度和成本要高得多。 “我们以不同的起点运行了数百次测试，花费了约 4000 美元的 API 额度。尽管如此，Opus 4.6 仅能在两个案例中将漏洞真正转化为可利用程序。这告诉我们两件事。” 报告继续写道。“第一，Claude 发现这类漏洞的能力远强于利用漏洞的能力。第二，识别漏洞的成本比为其制作利用程序低一个数量级。然而，Claude 能够自动开发出简单的浏览器漏洞利用程序，即便仅在少数案例中成功，这一事实仍令人担忧。” 成功生成的漏洞利用程序较为 “简陋”，且仅在禁用了沙箱等安全功能的受控测试环境中有效，这意味着其在现实环境中的影响有限。尽管如此，Claude 能够自动生成哪怕是最基础的浏览器漏洞利用程序，凸显出随着 AI 辅助攻击能力提升所带来的潜在风险。 “这些早期由 AI 实现漏洞利用开发的迹象表明，防御方必须加快发现与修复的流程。” 报告总结道。“根据我们的经验，当 Claude 能够使用另一个工具检查自身输出时效果最好。我们将这类工具称为‘任务验证器’：一种可信的方法，用于确认 AI 代理的输出是否真正达成目标。任务验证器在代理分析代码库时提供实时反馈，使其能够深度迭代直至成功。任务验证器帮助我们发现了上述 Firefox 漏洞，并且在另一项研究中，我们发现它们对修复漏洞同样有用。” Mozilla 表示，AI 辅助分析还发现了另外 90 个 Firefox 漏洞，其中大部分已修复，包括传统模糊测试所遗漏的逻辑错误，这凸显了 AI 在安全领域日益重要的作用。 “发现的规模体现了将严谨工程与新型分析工具相结合以实现持续改进的力量。我们认为这明确证明，大规模 AI 辅助分析是安全工程师工具箱中一项强大的新工具。”Mozilla 表示。 消息来源：securityaffairs.com； 本文由 HackerNews.cc 翻译整理，封面来源于网络； 转载请注明“转自 HackerNews.cc”并附上原文

图片来源：安全内参 一名安全研究人员透露，数千个机器学习工具已暴露在开放的互联网中，其中一些还属于大型科技公司。任何人都能访问这些工具，并存在敏感数据泄露的潜在风险。 这则消息表明，尽管公司和研究人员在人工智能研究上突飞猛进，但保护这些工具，仍需要依赖适用于其他类型账号的通用账号安全和身份验证最佳实践。 Reddit的安全研究人员兼首席安全工程师Charan Akiri在其研究报告中指出：“除了机器学习（ML）模型本身，暴露的数据还可能包括训练数据集、超参数，甚至有时是用于构建模型的原始数据。” 暴露的工具包括MLflow、Kubeflow和TensorBoard实例。这些工具通常用于帮助企业在云端训练和部署生成式AI模型，或可视化其结果。 Akiri在研究报告中写道：“这种配置错误使得未经授权的人员能够访问、下载，甚至运行敏感的机器学习模型和数据集。这类暴露事件本不应发生，因为这些平台应该仅限于内部使用。” Akiri指出，他们已经能够识别出部分暴露实例的所有者，但他强调，“这只是整体暴露的一小部分，实际上可能还有许多公司尚未被我们识别出来。” 其中一家公司是日本的半导体制造商瑞萨电子（Renesas Electronics）。Akiri表示，通过控制面板证书中的线索，他们确认了一个机器学习工具属于瑞萨电子。外媒404 Media联系瑞萨电子请求对此事发表评论后，瑞萨电子立即撤下了暴露的控制面板，Akiri也通知了该公司这一问题。然而，瑞萨电子最终未对评论请求作出回应。 404 Media在访问几个可以通过开放互联网找到的MLFlow实例时，发现控制面板提供了创建“新运行”的选项。用户还能查看之前的实验记录，通常还能够执行与原用户相同或类似的任务。Akiri表示，他们发现了大约5000个暴露的MLFlow实例。 参考资料：https://www.404media.co/thousands-of-internal-ai-training-datasets-tools-exposed-to-anyone-on-the-internet/     转自安全内参，原文链接：https://www.secrss.com/articles/71040 封面来源于网络，如有侵权请联系删除

美国白宫在上周四宣布，OpenAI、谷歌、Antrhopic、Hugging Face、微软、英伟达与Stability AI等顶尖人工智能提供商，将在DEF CON 31上共同参与对他们的生成式人工智能系统的公开安全评估。DEF CON是每年8月在拉斯维加斯召开的黑客大会，此次安全竞赛由人工智能黑客社区AI Village主办。 自去年开始，ChatGPT等大语言模型（LLM）迅速成为加快写作和交流任务的流行方式，但官方承认这些模型中也存在固有风险。混淆、越狱和偏见等问题给安全专业人士和公众带来了挑战。正因为如此，白宫科学、技术和政策办公室才支持对这些新的生成式AI模型进行极限测试。 白宫在声明中表示，“这项独立测试将为研究人员和公众提供关于这些模型的关键信息，并使得人工智能公司和开发人员能够采取措施以解决在模型中发现的问题。”声明还提到，此次活动符合拜登政府提出的《人工智能权利法案》和国家标准与技术研究院（NIST）的《人工智能风险管理框架》。 在AI Village发布的活动公告中，组织方Sven Cattell、Rumman Chowdhury和Austin Carson将其称为“有史以来规模最大的人工智能模型红队演习”。将有数千人参与对公共人工智能模型的评估，期间使用的评估平台由Scale AI负责开发。 所谓“红队”测试，是指安全专家尝试在组织系统中发现漏洞或缺陷，以提高整体安全性和弹性的过程。 AI Village创始人Sven Cattell表示，“只有让更多的人了解如何开展红队测试和评估人工智能模型，才能解决这些模型中的各种问题。”通过对人工智能模型组开展最大规模的红队演习，AI Village和DEF CON希望能培养出处理人工智能系统漏洞的研究者社区。 事实证明，大语言模型的锁定难度远超想象，部分原因在于所谓“提示词注入”技术。人工智能研究员Simon Willison详细介绍了提示词注入的危险，这种技术可以令语言模型偏离正轨，执行创建者想要回避的操作。 在DEF CON大会期间，参与者将通过主办方提供的笔记本电脑定时访问多个大语言模型。夺旗式积分系统将鼓励大家测试各种潜在威胁。最终，得分最高的参与者将获得英伟达高端GPU作为奖品。 AI Village公告中写道，“我们将公布从此次竞赛中得到的启发，帮助其他想要做类似尝试的人们。希望越来越多的人能知晓该如何使用大语言模型，了解这些模型的局限性。” DEF CON 31将于8月10至13日在拉斯维加斯凯撒宫酒店举办。       转自 安全内参，原文链接：https://www.secrss.com/articles/54509 封面来源于网络，如有侵权请联系删除