网络安全研究人员近日披露了一项安全漏洞的详细信息,该漏洞利用间接提示注入技术攻击谷歌Gemini,从而绕过其授权防护机制,并将谷歌日历用作数据提取通道。
Miggo Security的研究主管Liad Eliyahu表示,该漏洞通过在标准日历邀请中隐藏一个潜伏的恶意载荷,有可能规避谷歌日历的隐私控制。
Eliyahu在一份提供给thehackernews的报告中称:"这种绕过方式使得攻击者能够在无需任何直接用户交互的情况下,未经授权访问私人会议数据并创建具有欺骗性的日历事件。"
攻击链的起点是攻击者精心制作并发送给目标的一个新日历事件。该邀请的描述中嵌入了一个自然语言提示,旨在执行攻击者的指令,从而导致提示注入攻击。
当用户向Gemini询问一个完全无害的日程问题时,攻击即被激活。这会促使该人工智能聊天机器人去解析上述事件描述中特制的提示,从而汇总用户特定日期的所有会议,将这些数据添加到一个新创建的谷歌日历事件中,然后向用户返回一个无害的回应。
Miggo表示:"然而,在后台,Gemini创建了一个新的日历事件,并在事件描述中写入了目标用户私人会议的完整摘要。在许多企业日历配置中,这个新事件对攻击者是可见的,使得他们能够读取被窃取的私人数据,而目标用户却完全不知情。"
尽管在负责任的披露后,该问题已得到解决,但这些发现再次表明,随着越来越多的组织使用AI工具或内部构建自己的智能体来自动化工作流程,原生AI功能可能会扩大攻击面,并在无意中引入新的安全风险。
Eliyahu指出:"AI应用程序可以通过它们被设计用来理解的语言本身被操纵。漏洞不再局限于代码,它们现在存在于运行时环境中的语言、上下文和AI行为里。"
此次披露是在Varonis详细描述一种名为"Reprompt"的攻击之后数日。该攻击可能使攻击者只需单击一下即可从Microsoft Copilot等人工智能聊天机器人中提取敏感数据,同时绕过企业安全控制。
这些发现说明,有必要持续从关键的安全维度对大型语言模型进行评估,测试其产生幻觉倾向、事实准确性、偏见、危害性以及抵御越狱攻击的能力,同时保护AI系统免受传统问题的影响。
就在上周,Schwarz Group的XM Cyber揭示了在谷歌云Vertex AI的Agent Engine和Ray中提升权限的新方法,这突显了企业审计其AI工作负载所关联的每个服务账户或身份的必要性。
研究人员Eli Shparaga和Erez Hasson表示:"这些漏洞允许权限极低的攻击者劫持高权限的服务代理,有效地将这些'隐形'的托管身份变成'双重间谍',从而促进权限提升。"
成功利用这些"双重间谍"漏洞可能允许攻击者读取所有聊天会话、LLM记忆、存储在存储桶中的潜在敏感信息,或获取Ray集群的根访问权限。鉴于谷歌表示这些服务目前"按预期运行",组织审查具有"查看者"角色的身份并确保采取足够的控制措施以防止未经授权的代码注入至关重要。
与此同时,多项在不同AI系统中发现的漏洞和弱点也浮出水面:
...