研究人员劫持热门 Kokoro AI 模型的 Hugging Face 账户
- 浏览次数 124
- 喜欢 0
Hugging Face 平台缺乏所有权验证机制,使研究人员得以接管 Kokoro——一个被 Google、NVIDIA、AMD、Intel 和 Amazon Web Services 项目使用的文本转语音模型。
攻击者劫持该账户后,可将其用作供应链攻击的分发渠道,可能导致数据窃取或代码执行。
不过,研究人员展示了一种更隐蔽的攻击:他们修改了模型的权重,使其产生的音频与输入文本不一致,而未更改底层应用代码。
研究人员表示,由于只有权重发生变化,恶意软件扫描器没有任何恶意代码或特征可供检测。
"我们通过微调其神经网络权重改变了这个模型输出的内容。相同的输入文本。相同的语音文件。相同的配置。相同的推理代码——运行它的应用程序中一行代码都未改动,"安全研究员 Alon Hertz 说。
Kokoro 是一个开放权重模型,可将文本转换为语音。它支持多种语言,拥有 50 多种语音预设。
尽管其开发者 Hexgrad 自 2025 年 4 月以来未推送任何更新,该项目仍广受欢迎,在 Hugging Face 上的月下载量接近 1300 万次。GitHub 仓库和 PyPI 上的 Python 包也大约在同一时间停止更新。
Kokoro 得到 Google、NVIDIA 和 Intel 开发者工具的支持,包括用于语音代理和端侧语音合成的软件。AMD 和 Amazon Web Services 也发布了演示其在 AI 代理工作流中用法的指南。
Hertz 及其团队只需注册原始所有者使用的域名并重置登录密码,就接管了 Hugging Face 上的 Kokoro 账户。
在上周末,研究人员注册了 Kokoro 公开 DONATE.md 文件中列出的 "hexgrad.com" 域名,并利用它在发布者账户上执行了密码重置。
随后他们进行了一次受控测试,使用一块游戏 GPU 在 87 秒内修改了 Kokoro 的模型权重,导致模型产生被投毒的输出。
Hertz 表示,团队在本地使用其正常推理流程测试了被修改的 Kokoro 模型,但从未将修改后的权重上传到 Hugging Face,因为那样可能会使许多依赖该模型的生产系统面临风险。
该研究员强调,一次更新仍会带有合法发布的所有特征,因为来自另一个账户的测试表明,Hugging Face 不会将任何内容标记为可疑。
尽管账户被接管,发布者的外观保持不变,文件交付路径、格式和架构也是如此。文件大小也会相似,且发布内容不包含恶意软件。
更广泛的信任问题
该研究员指出,被入侵的发布者账户通过例行更新向自动获取新修订版本的系统分发被篡改的权重,由此产生的供应链风险十分严重。
Kokoro 只是团队用来凸显该问题的一个高知名度例子。
Hertz 表示,即使未被劫持的账户也可能构成风险,因为任何人都可以在一段时间内营造看似合法的形象,然后在某个时点推送恶意更新。
"Hugging Face 不会审查发布者。它不验证一个账户是否仍由其原始合法所有者持有——或由上周悄然接管它的人持有。它也不审查这些账户上传的模型或数据集," Hertz 说。
"同样未经审查的权重和数据集通过镜像和转换版本、GitHub 发布、包注册表、部署指南以及整个开放模型生态系统的直接下载流动,"该研究员补充道。
Hertz 向 Hugging Face 报告了该问题,希望得到迅速处理,但未收到任何回应。
BleepingComputer 也联系了 Hugging Face 寻求置评,但尚未收到回复。