Security Affairs 网站消息，Black Basta 勒索软件团伙自 2022 年初“出道”以来，成功“感染”了 300 多个受害目标，累计收获赎金超过 1.07 亿美元。 2022 年 4 月，一个名为 Black Basta 的勒索软件团伙开始活跃在互联网空间，与其它勒索软件组织一样，该组织主要通过实施双重勒索攻击，获取赎金。从 Elliptic 和 Corvus Insurance 发布的联合研究结果来看， Black Basta 自推出以来，累计“获取”的支付比特币赎金至少达到 1.07 亿美元，感染了超过 329 名受害者，其中包括 ABB、Capita、Dish Network 和 Rheinmetall。 值得注意的是，网络安全研究人员通过分析区块链交易，发现 Black Basta 与 Conti 勒索软件团伙之间貌似存在着明显的联系。2022 年，Conti 勒索软件团伙停止了攻击活动，差不多同一时间 Black Basta 组织开始活跃。 网络安全专家还透露 Black Basta 主要通过俄罗斯加密货币交易所 Garantex 洗白非法资金。Elliptic 报告中还指出， Black Basta 勒索软件团伙成功攻击了全球 329 多个组织机构，并在 2022-2023 年成为受害者数量第四多的勒索软件，分析表明，自 2022 年初以来， Black Basta 已经收到了至少 1.07 亿美元的赎金，涉及 90 多名受害者。其中，收到的最大赎金为 900 万美元，其中至少有 18 笔赎金超过了 100 万美元，平均赎金为 120 万美元。 从报告来看， Black Basta 勒索软件团伙的大多数受害者从事制造业、工程建筑业和零售业。区域分布方面，61.9% 的受害者在美国，15.8% 在德国，5.9% 在加拿大。 值得一提的是，部分受害者支付的赎金由 Conti 和 Black Basta 团伙发送给了 Qakbot 恶意软件幕后团伙。 Black Basta 与其它恶意软件存在联系 今年 8 月，美国联邦调查局宣布，在一次名为 “猎鸭行动 “的国际执法行动中，捣毁 了Qakbot 僵尸网络。（Qakbot 也被称为 QBot、QuackBot 和 Pinkslipbot，是一种自 2008 年以来一直活跃的信息窃取恶意软件，该恶意软件通过恶意垃圾邮件活动进行传播。） Cisco Talos 警告称，尽管采取了执法行动，但 QakBot 背后的威胁攻击者仍然十分活跃。研究人员表示，自 2023 年 8 月初以来，Qakbot 机器人背后的威胁攻击者一直在开展网络攻击活动，旨在传播 Knight 勒索软件和 Remcos RAT。 Black Basta 勒索软件团伙大约有 10% 的赎金被转给了 Qakbot，这表明，在 Qakbot 参与向受害者提供访问权限的情况下，大约 10% 的赎金被转给了 Qakbot。Black Basta 背后的威胁攻击者则平均拿走了 14% 的赎金。Elliptic 表示，这种分赃模式也是勒索软件即服务操作中常见的典型分账方式。   转自Freebuf，原文链接：https://www.freebuf.com/news/385580.html 封面来源于网络，如有侵权请联系删除

美国办公用品零售商史泰博遭受网络攻击，迫使该公司关闭多个系统。采取此步骤是为了最大限度地减少违规行为的影响并保护客户数据。 Staples 在美国和加拿大经营着 994 家商店，并在全国拥有 40 个配送中心。Reddit 用户 最先报告了 Staples 内部系统的问题，包括无法访问Zendesk客户支持、员工VPN门户、电子邮件和电话线路。 公司员工表达了他们的担忧。其中一人指出，他在一家商店工作，他们无法获得必要的工作工具。另一位员工补充道，“在史泰博工作 20 年里，我从未经历过这样的事情。” 此外，有未经证实的报道称，Staples 员工已被指示避免使用单点登录( SSO ) 登录Microsoft 365，并且呼叫中心员工已被送回家 2 天。 该公司 向 BleepingComputer证实 ，在 Staples 的网络安全团队于 11 月 27 日发现威胁后，该公司被迫采取保护措施来降低网络安全风险。该响应导致业务流程中断，包括订单处理和交付。 史泰博商店仍然营业，但由于系统仍处于关闭状态，在线订单可能会延迟。史泰博在其网站上发布 通知， 对意外中断表示歉意，并承诺很快恢复服务。 Staples网站上的消息 BleepingComputer 澄清，攻击中没有使用勒索软件，文件也没有加密。Staples 的迅速反应，包括关闭其网络和 VPN，可能阻止了黑客实现他们的最终目标。目前尚不清楚攻击者访问 Staples 网络期间数据是否被盗。如果数据被盗，网络犯罪分子可能会试图勒索。 史泰博此前曾是网络攻击的受害者。2014年12月，该公司代表 表示 ，该组织的PoS终端被感染后，超过100万张客户支付卡有可能被盗。这次袭击发生在 2014 年 10 月。 2023 年 3 月，LockBit 组织 声称史泰博旗下办公用品供应商 Essendant 遭到网络攻击 ，导致该公司运营关闭。由于 3 月 6 日的网络攻击，Essendant 无法处理和履行在线订单，客户也无法创建订单或联系客户服务。所有交货也暂停。   转自安全客，原文链接：https://www.anquanke.com/post/id/291630 封面来源于网络，如有侵权请联系删除

Zyxel在其网络附加存储 ( NAS )设备中发现了多个严重漏洞，其中包括三个关键漏洞，这些漏洞可能允许未经身份验证的攻击者在受影响的设备上执行任意命令 。 合勤科技的 NAS 系统用于网络上的集中数据存储，旨在处理大量信息。它们提供备份、媒体流和共享选项定制等功能。 典型的合勤科技 NAS 用户包括寻求数据管理、远程和协作解决方案的中小型企业。除了企业领域之外，一些处理大文件的 IT 专业人士、摄像师和数字艺术家也需要 NAS。 在 11 月 30 日发布的安全公告 中，制造商警告以下漏洞影响固件版本 5.21(AAZF.14)C0 及更早版本的 NAS326 设备以及固件版本 5.21(ABAG.11)C0 及更早版本的 NAS542 设备： CVE-2023-35137 ： Zyxel NAS 设备身份验证模块中的漏洞允许未经身份验证的攻击者通过特制 URL 获取系统信息（CVSS评分7.5）； CVE-2023-35138 ：Zyxel NAS 设备的“show_zysync_server_contents”函数中的命令注入漏洞允许未经身份验证的攻击者通过特制的 HTTP POST 请求执行操作系统命令（CVSS 评分 9.8）； CVE-2023-37927 ：Zyxel NAS 设备的 CGI 程序中存在漏洞，允许经过身份验证的攻击者通过特制 URL 执行操作系统命令（CVSS 评分 8.8）； CVE-2023-37928 ：Zyxel NAS 设备的 WSGI 服务器中的身份验证后命令注入漏洞允许经过身份验证的攻击者通过特制 URL 执行操作系统命令（CVSS 评分 8.8）； CVE-2023-4473 ：Zyxel NAS 设备的 Web 服务器中存在命令注入漏洞，允许未经身份验证的攻击者通过特制 URL 执行操作系统命令（CVSS 评分 9.8）； CVE-2023-4474 ：Zyxel NAS 设备的 WSGI 服务器中存在漏洞，允许未经身份验证的攻击者通过特制 URL 执行操作系统命令（CVSS 评分 9.8）。 攻击者可以利用上述漏洞获得未经授权的访问、执行操作系统命令、获取敏感系统信息或完全控制受影响的 Zyxel NAS 设备。 为了解决这些风险，建议NAS326用户升级到V5.21(AAZF.15)C0或更高版本。NAS542用户应将固件更新至V5.21(ABAG.12)C0或更高版本以解决上述安全漏洞。 制造商尚未提供缓解或解决方法建议，建议将固件更新作为主要保护措施。   转自安全客，原文链接：https://www.anquanke.com/post/id/291628 封面来源于网络，如有侵权请联系删除

ophos 和 ReversingLabs 周一发布了 SoReL-20M，这是一个包含 2000 万个 Windows 可移植可执行文件的数据库，其中包括 1000 万个恶意软件样本。 该数据库旨在推动整个行业的安全改进，提供其中文件的元数据、标签和功能，并使感兴趣的各方能够下载可用的恶意软件样本以进行进一步研究。 该可公开访问的数据集包含一组精选和标记的样本以及相关元数据，预计将有助于加速恶意软件检测的机器学习研究。 Sophos 认为，虽然机器学习模型是建立在数据基础上的，但安全领域缺乏一个标准的、大规模的数据集，所有类型的用户（从独立研究人员到实验室和企业）都可以轻松访问，这迄今为止已经减慢了进展速度。 “获取大量精选的、标记的样本既昂贵又具有挑战性，而且由于知识产权问题以及向未知第三方提供恶意软件的风险，共享数据集通常很困难。因此，大多数已发表的有关恶意软件检测的论文都是在私人内部数据集上进行的，其结果无法直接相互比较，”该公司表示。 SoReL-20M 数据集是一个生产规模的数据集，涵盖 2000 万个样本，其中包括 1000 万个已解除武装的恶意软件，旨在解决该问题。 对于每个样本，数据集包含基于 EMBER 2.0 数据集提取的特征、标签、检测元数据以及所包含恶意软件样本的完整二进制文件。 此外，还提供了已对此数据进行训练作为基线的 PyTorch 和 LightGBM 模型，以及加载和迭代数据以及加载、训练和测试模型所需的脚本。 Sophos表示，鉴于所发布的恶意软件已被解除武装，因此需要“知识、技能和时间来重新构建”并运行。 该公司确实承认，熟练的攻击者有可能从这些样本中学习或使用它们来创建攻击工具，但认为“攻击者已经可以利用许多其他来源来更容易地访问恶意软件信息和样本，使用起来更快、更经济。” 因此，该公司认为，解除武装的样本对于寻求推进独立防御的安全研究人员来说更有价值。 被禁用的恶意软件样本已经存在了一段时间，预计将重新调用已拆除的基础设施。此外，它们应该被大多数防病毒供应商检测到。随着元数据与样本一起发布，检测有望得到改善。 “作为一个行业，我们知道恶意软件不仅限于 Windows 甚至可执行文件，这就是为什么研究人员和安全团队总是需要更多数据，”ReversingLabs 声称提供了超过 120 亿个好软件和恶意软件文件。   转自安全客，原文链接：https://www.anquanke.com/post/id/291626 封面来源于网络，如有侵权请联系删除

来自不同供应商（包括英特尔、宏碁和联想）的数百种消费级和企业级 x86 和 ARM 型号可能容易受到 Bootkit 和接管的影响。 研究人员发现了“LogoFAIL”，这是PC统一可扩展固件接口 (UEFI) 生态系统中存在的一组关键漏洞。 利用这些漏洞会使基本的端点安全措施失效，并使攻击者能够对受影响的系统进行深度控制。 根据将于下周在伦敦举办的 Black Hat Europe 上正式发布的 Binarly Research 报告，这些缺陷源自启动过程中的图像解析库，影响了 x86 和基于 ARM 设备的所有主要设备制造商。 研究人员警告说，LogoFAIL 的广泛影响加剧了其严重性，并指出它影响整个生态系统，而不仅仅是个别供应商。这些发现是通过 CERT/CC VINCE 系统报告的，预计供应商补丁计划于 12 月 6 日发布，与题为“ LogoFAIL：系统期间图像解析的安全影响”的黑帽演讲同时进行。 使用LogoFAIL劫持启动过程 Binarly 研究人员发现，通过在 EFI 系统分区 (ESP) 或未签名的固件更新部分嵌入受损映像，威胁参与者可以在启动期间执行恶意代码，从而劫持启动过程。 这种利用绕过了安全启动和英特尔启动防护等关键安全措施，有助于插入在操作系统级别下运行的持久固件启动套件。 Binarly 首席执行官兼创始人 Alex Matrosov 解释道：“由于攻击者正在将特权代码执行权写入固件，因此它在设计上绕过了安全边界，就像安全启动一样。” “英特尔 Boot Guard 和其他可信启动技术不会在运行时扩展，并且在验证固件后，它只是在系统启动流程中进一步启动。” 他说，Binarly 研究团队最初是在实验室的一台联想设备上尝试修改徽标。 “有一天，它在显示启动徽标后突然开始重新启动，”他说。“我们意识到问题的根本原因是原始标志的改变，这导致了更深入的调查。” 他补充道，“在这种情况下，我们正在处理修改后的启动徽标图像的持续利用，在运行时触发有效负载交付，其中所有完整性和安全性测量都在加载固件组件之前进行。” 这并不是第一次发现安全启动绕过；2022 年 11 月，五款 Acer 笔记本电脑型号中发现固件缺陷，可用于禁用安全启动并允许恶意攻击者加载恶意软件；BlackLotus或BootHole威胁之前已经为引导进程劫持打开了大门。然而，Matrosov 表示，LogoFAIL 与之前的威胁不同，因为它不会通过修改引导加载程序或固件组件来破坏运行时完整性。 事实上，他说 LogoFAIL 是一种纯数据攻击，当恶意输入来自固件映像或在系统启动过程中从 ESP 分区读取徽标时就会发生-因此很难检测到。 “这种使用 ESP 攻击向量的方法在固件本身内部留下了零证据，因为该徽标来自外部来源，”他解释道。 大多数 PC 生态系统都很脆弱 配备来自三个主要独立 BIOS 供应商 (IBV) Insyde、AMI 和 Phoenix 的固件的设备很容易受到影响，这表明不同硬件类型和架构之间存在潜在影响。Matrosov 表示，这三者合计覆盖了 BIOS 生态系统的 95%。 事实上，Matrosov 表示，LogoFAIL 影响“全球大多数设备”，包括来自不同供应商的消费级和企业级 PC，包括宏碁、技嘉、惠普、英特尔、联想、微星、三星、超微、富士通和“许多其他供应商”。 “受影响设备的确切列表仍在确定中，但值得注意的是，所有三个主要 IBV（AMI、Insyde 和 Phoenix）都受到与图像解析器相关的多个安全问题的影响，这些安全问题是作为固件的一部分提供的”，Binarly 报告警告说。“我们估计 LogoFAIL 会以某种方式影响这些供应商提供的几乎所有设备。” Phoenix Technologies 本周发布了一份早期安全通知（现已删除，但可作为缓存使用，直到 12 月 6 日恢复），详细说明该错误 (CVE-2023-5058) 存在于低于 1.0 的所有版本中.5 的 Phoenix SecureCore Technology 4，这是一种 BIOS 固件，可为各种设备提供高级安全功能。 通知称，“该缺陷存在于系统启动期间处理用户提供的启动屏幕中，可以被对设备进行物理访问的攻击者利用”，并指出有更新版本可用。“通过提供恶意启动屏幕，攻击者可以引发拒绝服务攻击或在 UEFI DXE 阶段执行任意代码，绕过安全启动机制并损害系统完整性。” LogoFAIL 还被 Insyde 跟踪为 CVE-2023-40238，并被 AMI 跟踪为 CVE-2023-39539 和 CVE-2023-39538。 Matrosov 表示，该公司正在与多家设备供应商积极合作，协调整个领域的披露和缓解工作。 固件更新是最大限度降低风险的关键 为了最大限度地降低固件风险，用户应及时了解制造商的建议并及时应用固件更新，因为它们通常可以解决关键的安全缺陷。 此外，审查供应商也是必须的。Matrosov 补充道：“对您每天依赖的个人设备或跨企业基础设施的设备供应商要挑剔。” “不要盲目信任供应商，而是验证供应商的安全承诺，并找出设备库存及其他方面的差距。”   转自安全客，原文链接：https://www.anquanke.com/post/id/291618 封面来源于网络，如有侵权请联系删除

Promon 发现了名为 FjordPhantom 的新Android 恶意软件。该病毒使用独特的虚拟化策略，通过在特殊容器中运行恶意代码来逃避检测。 FjordPhantom 攻击的本质是邀请受害者下载模仿真实银行应用程序的虚假银行应用程序。事实上，这些应用程序包含在虚拟环境中运行的恶意代码，以破坏真实的银行应用程序。感染的主要目标是窃取网上银行凭证并操纵帐户交易。 峡湾幻影袭击 该恶意软件通过电子邮件、短信和即时通讯工具进行传播，在印度尼西亚、泰国、越南、新加坡和马来西亚等东南亚国家进行了攻击。值得注意的是，FjordPhantom 的一次使用导致受害者被盗 28 万美元，这是由于恶意软件的规避性质和以“银行客户服务代表”电话形式进行的社会工程相结合而造成的。 该恶意软件使用虚拟化在受害者的设备上创建虚拟容器，而用户不会有任何怀疑。恶意代码与真实的银行应用程序一起在容器内运行，使其能够操纵数据并拦截敏感信息。 尤其令人不安的是，FjordPhantom 违反了 Android 沙盒这一核心安全概念，该概念旨在阻止应用程序相互通信。这使得攻击特别危险，因为银行应用程序代码不会发生更改，并且传统的恶意软件检测方法无能为力。 此外，FjordPhantom 能够阻止与 GooglePlayServices 相关的功能，从而使根安全检查难以检测。该恶意软件还能够拦截日志数据，这可能表明该恶意软件正在积极开发和改进，以针对其他应用程序进行有针对性的攻击。Promon 警告说，鉴于 FjordPhantom 的积极开发，该恶意软件未来可能会扩大其影响范围到新的国家和目标。   转自安全客，原文链接：https://www.anquanke.com/post/id/291615 封面来源于网络，如有侵权请联系删除

据BleepingComputer消息，法国总理伊丽莎白·博尔内近期签署了一份备忘录，要求所有政府公务人员在 2023 年 12 月 8 日之前卸载 Signal、WhatsApp 和 Telegram 等外国通讯软件，使用本国开发的替代产品“Olvid”。 BleepingComputer 与法国记者沟通后，该记者澄清称，该政策仅针对部长、国务卿、办公厅主任和内阁成员，这一举措并不是彻底禁止使用外国消息应用程序，而是建议改用本地开发的更安全的软件。 法国总理表示，面向主要消费者的即时通讯软件在我们的日常通信中占据着越来越大的比重。然而，这些数字工具并非没有安全漏洞，因此无法确保通过它们共享的对话和信息的安全性。 此次法国政府主推的Olvid，宣称支持端到端加密消息，使用去中心化基础设施，且不需要电话号码或任何其他个人数据即可注册。由于Olvid拥有 ANSSI（法国国家网络安全机构）“一级安全认证”，该认证要求专家对应用程序源代码进行彻底的检查，在安全性上，Olvid被认为遥遥领先其他外国通讯软件。 此外，Olvid 还独立验证了由密码学教授米歇尔·阿布杜拉（Michel Abdalla ）设计的定制密码协议，且Olvid 的对称加密技术已经具备了抗量子能力，同时该项目还保证，一旦美国国家标准与技术研究院（NIST）的公钥算法遴选程序最终确定，其公钥加密技术也将具备类似的强度。 至于法国政府决定建议使用Olvid的确切原因，目前尚不明确，但已有不少反对者的声音。在与记者的交流中，法国数字部门对此表示不满，认为对Olvid的宣传过度，同时也传达了Signal是他们可以接受的平台。Signal 总裁梅雷迪思·惠特克 (Meredith Whittaker) 在 Twitter 上对有关该应用程序安全漏洞的模糊说法提出质疑，称其毫无根据且具有误导性。 法国正陆续收紧政府人员设备App使用策略 在2023年，法国已两度对政府人员设备的App使用设限。 此次法国的政策被认为与瑞士军方相似，该国要求士兵停止使用 Signal、WhatsApp 和 Telegram等流行的通讯软件，转而使用国内开发的加密通讯服务Threema进行官方和私人聊天。 而在3月，出于对安全考虑，法国改革和公共管理部发布通知，禁止在上述人员设备上使用TikTok、Instagram、Twitter、Netflix等社交及媒体软件，称这些软件不能服务于国家行政管理，且可能对数据安全构成威胁。 转自Freebuf，原文链接：https://www.freebuf.com/news/385573.html 封面来源于网络，如有侵权请联系删除

WeMystic是一个关于占星术、命理学、塔罗牌和精神取向的网站。近日，Cybernews 研究小组发现其开放式数据库近日暴露了该平台用户的34GB敏感数据。 WeMystic 除了为用户提供占星术、精神健康和神秘主义等内容外，还有专门的在线商店，售卖天然宝石、脉轮、塔罗牌、手链和其他产品。该平台主要为讲巴西语、西班牙语、法语和英语的用户提供服务。 据悉，WeMystic 使用 MongoDB 存储了大量信息，而作为 MongoDB 基础架构的一部分，WeMystic有一个开放且无密码的 MongoDB 数据库，其中包含 34 G的用户服务数据。虽然目前 WeMystic 已经关闭了该数据库，但研究人员表示，目前仍然可以访问五天内的数据。 此次泄露的 “用户 “数据集合包含约 1330 万条记录。被曝光的记录包括 姓名 电子邮件地址 出生日期 IP 地址 性别 星座 用户系统数据 研究团队解释称，用户个人数据泄露可能会给相关人员带来安全风险，因为攻击者很可能会利用收集到的数据进行有针对性的攻击，甚至会对这些看似迷信的数据进行“二次创作”。 威胁者有可能利用这些信息进行恶意活动，如身份盗窃、网络钓鱼、发送垃圾邮件和有针对性的广告等。同时，攻击者还可能会根据这些人的占星信仰来操纵他们，这无疑给用户的隐私和安全带来了严重风险。   转自Freebuf，原文链接：https://www.freebuf.com/news/385561.html 封面来源于网络，如有侵权请联系删除

由于主流技术提供商遭受勒索软件攻击，大约 60 家信用合作社遭遇业务中断。国家信用社管理局 (NCUA) 发言人约瑟夫·阿达莫利 (Joseph Adamoli) 表示，此次攻击的目标是 信用社技术公司 Trellance 旗下的云服务提供商 Ongoing Operations。 Adamoli 表示，多家信用合作社收到了来自 Ongoing Operations 的消息，称该公司于 11 月 26 日遭到勒索软件攻击。作为回应，持续行动立即采取行动，包括使用专业人员确定事件范围并向联邦执法部门发出警报。 Adamoli 表示，目前约有 60 家信用合作社因此次攻击而遇到一些问题。他补充说，受影响信用社的会员存款由信用社股份保险基金提供高达 25 万美元的保险。 阿达莫利还表示，他们已通知美国财政部、联邦调查局以及网络安全和基础设施局。特伦斯没有回应置评请求。 此次攻击还对其他信用社技术提供商产生了重大影响，其中包括向信用社提供数据处理服务的 FedComp 公司。 受影响的信用社之一——山谷联邦信用社 (MVFCU) 发布公告，警告客户服务出现严重中断。MVFCU 首席执行官 Maggie Pope 表示，他们的数据处理器 FedComp 向他们通报了 Trellance 遭到的攻击，但没有客户数据受到影响。MVFCU 计划承担与该事件相关的所有费用。 NCUA 在 8 月份警告称， 针对信用合作社、其服务机构和其他提供金融服务的第三方的网络攻击有所增加。 NCUA 主席托德·哈珀 (Todd Harper) 表示，由于缺乏直接监督服务提供商的权力，该机构审查整个信用合作社系统的能力受到限制。他补充说，向 NCUA 报告的网络事件中，超过 60% 涉及第三方和信用合作社服务组织，这凸显了与这一“日益严重的监管盲点”相关的风险。   转自安全客，原文链接：https://www.anquanke.com/post/id/291607 封面来源于网络，如有侵权请联系删除

近日，安全研究人员发布的一篇论文给“百模大战”的生成式人工智能开发热潮浇了一盆冷水。研究发现，黑客可利用新的数据提取攻击方法从当今主流的大语言模型（包括开源和封闭，对齐和未对齐模型）中大规模提取训练数据。 论文指出，当前绝大多数大语言模型的记忆（训练数据）可被恢复，无论该模型是否进行了所谓的“对齐”。黑客可以通过查询模型来有效提取训练数据，甚至无需事先了解训练数据集。 研究者展示了如何从Pythia或GPT-Neo等开源语言模型、LLaMA或Falcon等主流半开放模型以及ChatGPT等封闭模型中提取数以GB计的训练数据。 研究者指出，已有技术足以攻击未对齐的模型，对于已经对齐的ChatGPT，研究者开发了一种新的发散数据提取攻击，该攻击会导致大语言模型改变聊天机器人的内容生成方式，以比正常行为高150倍的速率疯狂输出训练数据（下图）： 图1:发散攻击导致对齐后的chatGPT以150倍的速度输出训练数据 研究者表示：发散数据提取攻击方法在实际攻击中可恢复的训练数据大大超出了事前的预期，同时也证明当前的大语言模型对齐技术并不能真正消除记忆。 研究者利用偏差攻击提取训练数据中的隐私信息 据研究者介绍，大型语言模型（LLMs）会从其训练数据集中记忆样本，可被攻击者利用提取隐私信息（上图）。先前的安全研究工作已经对开源模型记忆的训练数据总量进行了大规模研究，并且通过手动标注示记忆和非记忆样本，开发并验证了针对（相对）小型模型如GPT-2的训练数据提取攻击。 在最新发布的论文中，研究者将“成员推断攻击”（用于确定数据样本是否训练数据）和数据提取攻击两种方法统一起来，对语言模型中的“可提取记忆”进行了大规模研究。 研究者开发了一种可扩展方法，通过与TB级数据集比对，检测模型输出的数万亿个token的记忆内容，并对流行的开源模型（例如Pythia，GPT-Neo）和半开源模型（例如LLaMA，Falcon）进行了分析。研究者发现，无论开源还是闭源的大语言模型都无法避免新的数据提取攻击，而且参数和Tokens规模更大、性能更强劲的模型更容易受到数据提取攻击： 九个开源大语言模型测试结果 九个半开源（训练算法和训练数据不公开）大语言模型的测试结果 研究者发现，“对齐模型”也不能避免新的数据提取攻击。例如，gpt-3.5-turbo对常规数据提取攻击免疫，看上去似乎成功“忘记了”训练数据。研究者推测是因为ChatGPT已经通过RLHF进行了对齐，目的是使其成为“安全高效”的，可推向市场（生产环境）的个人聊天助手。 但研究者开发了新的提示策略（仅适用于GPT3.5turbo），成功绕过了gpt-3.5-turbo的对齐技术，使其“偏离”预设的聊天机器人风格，表现得像一个基础语言模型，以典型的web文本格式大量输出文本。 为了检查这些输出的文本是否是此前从互联网上采集的训练数据，研究者将几个公开可用的大型网络训练数据集合并成一个9TB大小的数据集。通过与这个数据集匹配，研究者以200美元的查询成本从ChatGPT对话中恢复了一万多个训练数据集样本。研究者粗略估计，通过更多的查询可以提取超过10倍的（训练）数据。 研究者在论文中透露，在7月11日发现该漏洞后，通知了包括OPT、Falcon、Mistral和LLaMA等模型开发者，并在8月30日向OpenAI披露了其漏洞，并根据90天漏洞披露规则，于11月30日发布论文，希望能唤起业界对大语言模型数据安全和对齐挑战的关注。 最后，研究者警告大语言模型应用开发者，渗透测试结果表明现有的大语言模型安全措施（模型对齐和内容记忆测试）难以发现大语言模型的隐私漏洞，更不用说那些隐藏在模型算法代码中的“休眠漏洞”。如果没有极端的安全措施，现阶段不应训练和部署涉及隐私和敏感信息的大模型应用（编者：例如医疗、法律、工程）。   转自GoUpSec，原文链接：https://mp.weixin.qq.com/s/lmvVLEK9D4q32Q4WwpniiQ 封面来源于网络，如有侵权请联系删除