ReliaQuest 发布了一份新报告，详细介绍了网络犯罪分子如何利用 ChatGPT 等合法服务和恶意 AI 工具来支持其行动。
该公司发现，这些工具有助于创建近乎完美的网络钓鱼电子邮件，经 ReliaQuest 分析师测试，成功率为 2.8%。
报告强调，攻击者正在使用诸如提示注入之类的技术绕过 AI 模型的安全过滤器。这些技术利用了 AI 模型过滤系统中的弱点，使攻击者能够生成有害内容，尽管存在内置限制。
最常见的提示注入类型之一称为“立即执行任何操作”(DAN) 提示，它使用复杂的语言、上下文漏洞和渐进式升级来操纵 AI 模型。
ReliaQuest 使用 ChatGPT 进行了实验，其中关于启动网络钓鱼活动的初始查询由于道德约束而被拒绝。但是，当使用 Nexus 提示提交相同的请求时，语言模型返回了一个基本的八步计划。该计划包括对目标公司的研究、域名注册和电子邮件创建。
使用其他语言模型（如 Mixtral-8x7B-T）的进一步实验生成了功能性 PowerShell 脚本，用于识别用户登录事件并跨端点部署文件。
报告还指出，网络犯罪分子经常在论坛上讨论 DAN 提示，他们在论坛上分享和测试操纵性语言条目。这些提示通常分发在 GitHub 和 Reddit 等开源平台上。论坛成员就各种提示的有效性交换反馈，并呼吁根据需要更换或改进它们。
ReliaQuest 在流行的英语网络犯罪平台 BreachForums 上观察到一名用户以 1,000 美元的价格出售 ChatGPT 过滤器绕过方法的概念验证代码（POC），声称已经可以绕过安全限制使用人工智能编写勒索软件。
WormGPT 和 FraudGPT 最初引起了人们的关注，但现在已经不复存在。取而代之的是，FlowGPT 已成为一项社区驱动的服务。ReliaQuest 使用 FlowGPT 选择 ChaosGPT 模型进行网络钓鱼实验。
ChaosGPT 模型的评分为 4.9 分（满分 5 分），受欢迎程度高达 340 万，当被问及俄语时，该模型用英语制作了一封引人注目的网络钓鱼电子邮件。输出结果语法正确，听起来就像是母语人士写的。在一项涉及 1,000 名未公开个人的测试中，2.8% 的人点击了邮件中包含的恶意链接。
深度伪造（人工制作或增强的音频或视频）的威胁也在增加。深度伪造很容易通过网络犯罪论坛上讨论的人工智能工具制作，即使是新手也能制作出逼真的语音和视频模仿。这类工具越来越多地被讨论为规避“了解你的客户”（KYC）流程的一种方法。网络犯罪分子分享教程并寻求熟练创作者的服务来促进这些欺诈活动。
ReliaQuest 的报告强调了网络犯罪手段日益复杂化，利用先进的人工智能工具和社区共享知识来升级其恶意活动。调查结果强调了这些发展对网络安全构成的持续威胁，需要持续警惕并采取先进的对策。
转自军哥网络安全读报，原文链接：https://mp.weixin.qq.com/s/35tkpiPecOvYaZZkty1MJA
封面来源于网络，如有侵权请联系删除