HackerNews 编译,转载请注明出处:
谷歌 Gemini 企业级 AI 生态系统中一个新发现的提示词注入漏洞已被修复,该漏洞曾允许攻击者窃取敏感的 Gmail 邮件、文档及日历数据,但专家表示,这只是 AI 漏洞时代的开端。
“GeminiJack” 漏洞存在于谷歌 Gemini Enterprise(此前也存在于 Vertex AI Search)中,由诺玛实验室(Noma Labs)的研究人员于今年 5 月发现,在与谷歌合作完成修复后,该漏洞已于本周二被公开披露。
攻击者利用企业对谷歌 Workspace 工具及共享功能的依赖,能够操纵日常工作流程,进而访问并窃取企业敏感信息。
诺玛实验室指出:“一份共享的谷歌文档、一则谷歌日历邀请,甚至一封 Gmail 邮件,都能瞬间成为侵入企业数据的持续性开放通道。”
更关键的是,诺玛实验室称,与传统软件漏洞不同,GeminiJack 并非常规缺陷,而是谷歌企业级 AI 系统在解读用户提供内容时存在的架构性弱点。
同时,由于该漏洞无需用户任何操作即可造成危害,它也被视为迄今企业级云环境中遭遇的最严重 AI 驱动型安全风险之一。
诺玛实验室在其安全博客中解释:“目标员工无需进行任何点击,不会出现任何警示信号,也不会触发任何传统安全工具。”
DryRun Security 首席执行官詹姆斯・威克特(James Wickett)表示:“GeminiJack 这类事件表明,提示词注入和数据泄露已不再是边缘性研究课题,这些漏洞是企业(即便是大型科技公司)将大语言模型接入系统时,深层架构问题的外在表现。”
诺玛实验室研究人员称,攻击者可在共享文档或消息中嵌入隐藏指令。
当员工后续使用谷歌 Gemini Enterprise AI 执行常规搜索时,AI 助手会自动检索被篡改的内容、执行恶意指令,并通过伪装的外部图片请求,轻松将敏感数据外传。
借助 GeminiJack 零点击漏洞,单次常规 AI 查询就可能泄露以下信息:
- 数年的内部邮件,包括客户沟通及财务往来信息
- 完整的日历历史,可泄露商务谈判、合作关系及企业组织运作情况
- 全部文档库,涵盖合同文件至技术架构方案等各类资料
谷歌方面表示 “已对漏洞披露做出迅速响应”,其团队与诺玛实验室协作 “厘清了攻击路径并实施了全面的缓解措施”。
诺玛实验室称,此次修复解决了检索增强生成(RAG)处理管道中指令与内容混淆的核心问题。
据英伟达定义,检索增强生成(RAG)是一套循环式处理流程,可实时完成文档预处理、数据摄入及嵌入向量生成,将用户查询转化为易于理解的信息,同时最大限度降低模型 “幻觉” 现象。
而所有窃取的数据,都会通过看似正常的图片请求直接流向攻击者,这类请求与合法流量难以区分。
诺玛实验室研究人员评价道:“这是 AI 过度自主权限的典型体现。AI 助手完全按设计逻辑运行,却沦为了可想象到的最高效企业间谍工具。”
谷歌指出,作为修复措施的一部分,Vertex AI Search 现已与 Gemini Enterprise 完全分离,确保二者不再共用同一大语言模型驱动的检索管道。
对于未来的 AI 注入攻击,威克特指出 “我们仍处于 AI 应用初期阶段”。
他认为,在团队为模型输入、检索来源及智能体操作建立起真正的防护屏障前,未来几年内类似 GeminiJack 的故障还会不断出现。
威克特表示:“若缺乏此类管控且不重视构建安全的 AI 应用,这类安全事件大概率会愈发频繁。”
消息来源:cybernews;
本文由 HackerNews.cc 翻译整理,封面来源于网络;
转载请注明“转自 HackerNews.cc”并附上原文