从 1Password 公司的调查结果来看，人工智能等颠覆性技术正在加剧企业安全和员工生产力之间长期存在的”紧张关系“。更糟糕的是，50% 的网络安全专家表示，想要在企业安全和员工生产力之间找到恰当的平衡点几乎不可能。 目前来看，随着各种环境不断变化，企业员工面临着越来越大的工作压力，为了提高工作效率，员工开始更多的使用人工智能技术、远程工作以及未经批准的应用程序和设备。1Password 首席执行官 Jeff Shiner 表示，企业愈发看重生产力，这就给 IT 和安全领导者带来了巨大的安全挑战，他们时常感到没有预算来保护员工的安全。 此外，1Password 首席执行官 Jeff Shiner 还指出，在安全和生产力问题上，不应该非此即彼，无论员工喜欢以何种方式工作，企业和安全服务提供商都需要提供既能保护员工又能提高工作效率的解决方案，企业要牢记，确保员工的安全，就是确保企业的安全。 技术扩张给安全团队带来挑战 目前，虽然企业的 IT 和安全团队都在努力扩大员工对生成式 AI 等新工具和技术的访问权限，但其很难跟上这些技术的迭代速度，保护企业安全的挑战急剧增加。从 1Password 的调查数据来看，50%的安全专家表示，要在安全和员工生产力之间找到正确的平衡点几乎不可能。 其中，69% 的安全专家承认，在安全问题上，他们至少有一部分是被动的。79% 的受访者认为他们的安全保护措施不够充分，69% 的受访者指出，单点登录（SSO）工具不是确保员工身份安全的完整解决方案。 此外，很多受访者指出，企业员工倾向于使用工具、技术、设备来提高工作效率，虽然很支持他们想要的工作方式，但员工往往没有考虑或了解使用这些技术或设备对企业安全的影响。 1Password 的调查结果显示，34% 的员工使用未经批准的应用程序和工具，也就是所谓的”影子 IT“，这些员工平均使用五种”影子 IT 应用程序“或工具，每一种都代表着一种潜在的新威胁媒介。 但是也有 17% 的员工承认从未使用过工作设备，而是选择使用个人或公用计算机。54% 的员工承认对公司的安全政策松懈，原因主要包括希望快速完成工作，提高工作效率（24%），以及认为安全政策不方便（11%）或过于严格或不合理（11%）。 44% 的员工表示，如果工具更容易使用，政策更容易遵循，安全问题就会减少，但只有不到十分之一的网络安全专家（9%）表示，员工的便利性是他们选择安全软件时的首要考虑因素。 生成式人工智能的兴起 生成式人工智能的兴起加速了安全与员工生产力之间的”角力“，安全团队担心生成式人工智能可能会扩大攻击面，而员工则认为使用 AI 能够提高效率和产出的潜力。对此，92% 的网络安全专家对生成式人工智能存在安全顾虑，具体顾虑包括员工将公司敏感数据输入人工智能工具（48%）、使用用错误或恶意数据训练的人工智能系统（44%），以及落入人工智能增强的网络钓鱼企图（42%）。 此外，还有 57% 的员工表示，在工作中使用人工智能生成工具可以节省时间，提高工作效率，另外有一小部分员工（22%）承认在知情的情况下违反了公司关于使用生成式人工智能的规定，但这一比例相对较小。   转自Freebuf，原文链接：https://www.freebuf.com/news/397169.html 封面来源于网络，如有侵权请联系删除

据CyberNews消息，Meta于4月5日宣布将对旗下Facebook 和 Instagram平台上的数字创建和更改媒体政策进行调整，以遏制在美国大选前利用人工智能进行的深度伪造内容传播。 据Meta内容政策副总裁莫妮卡-比克特（Monika Bickert）透露，这一政策将从今年5月起生效，其平台上发布的由人工智能生成的视频、图片和音频将被打上相应的标签，以进行显著区分。 人工智能生成的视频、音频和图片内容上标注新的 “Made with AI”（人工智能制造）标签，旨在帮助用户识别被操纵的内容 此外。对于在重要事实问题上容易对公众造成欺骗或误导的高风险性内容，无论是否涉及人工智能生成，Meta都将为其单独贴上更醒目的标签。 这一政策预示Meta将改变对可能存在篡改风险的内容的处理方式。从过去的删除政策转变为保留，同时向观众表明有关内容制作来源及过程的信息。 Meta 此前还宣布了一项计划——利用文件中内置的隐形标记来检测使用其他公司的生成式人工智能工具制作的图片，但该计划并未给出具体的实施日期。 公司发言人告诉路透社，新的标签方法将适用于Facebook、Instagram 和 Threads 服务上发布的内容。该公司的其他服务，包括 WhatsApp 和 Quest 虚拟现实头盔将适用与之不同的规则。 在此之前，技术人员曾警告称，生成式人工智能可能会影响美国大选，对Meta甚至是OpenAI 等供应商发布的指导方针界限构成挑战。 今年 2 月，Meta 监督委员会审查了美国总统乔-拜登（Joe Biden）去年在 Facebook 上发布的一段视频后，称Meta关于“受操纵媒体内容”的现有规则 “不连贯”，这段视频篡改了真实画面，错误地暗示拜登有不当行为。由于 Meta 现行的“受操纵媒体内容”政策规定，只有在人工智能制作的视频或让人看起来说了实际上从未说过的话的视频会被禁止。 因此，董事会表示，该政策也应适用于非人工智能内容（其误导性 “不一定比人工智能生成的内容低”），以及纯音频内容和描述人们做了实际上从未做过的事情的视频。   转自Freebuf，原文链接：https://www.freebuf.com/news/397077.html 封面来源于网络，如有侵权请联系删除

网络安全公司Enea近日发布的一份报告指出，随着以人工智能驱动的的语音钓鱼(vishing)和短信钓鱼(smishing)攻击激增，自2022年11月OpenAI发布ChatGPT以来，网络钓鱼(phishing)攻击整体增加了惊人的1265%。 移动欺诈损失惨重，安全性成企业采购电信服务关键依据 报告显示，61%的企业因移动欺诈遭受了重大损失，其中短信钓鱼和语音钓鱼是最普遍且造成损失最多的攻击手段。 51%的企业期望电信运营商保护他们免受语音和移动消息欺诈，他们认为电信运营商在欺诈防护中扮演的角色比云提供商、托管IT提供商、系统集成商或软件供应商更重要，85%的企业表示安全性是他们在电信服务采购决策中的重要考量因素。 但另一方面，多达61%的企业表示移动欺诈带来的损失居高不下，超过四分之三的企业表示没有投资短信垃圾邮件或语音诈骗/欺诈保护。 电信运营商安全态势不容乐观 尽管大多数企业表示安全性是他们在电信采购决策中的重要考量因素，但只有59%的受访电信运营商表示部署了消息防火墙，51%表示他们实施了信令防火墙。 只有46%的受访电信运营商采用了某种威胁情报服务，这意味着大多数电信运营商无法（及时）识别新的安全威胁。 人工智能时代，网络安全是电信运营商的核心竞争力 报告强调，重视安全的电信运营商通常具备更强的安全能力、更好的资金支持和更高的安全优先级，其安全漏洞未被发现或未得到缓解的可能性只有追随者的一半不到(12%vs25%)。此外，网络安全能力领先的电信运营商更可能将网络安全视为创造收入的机会(31%vs19%)。 Enea公司网络安全部门高级副总裁兼主管John Hughes评论道：“随着人工智能技术变得更容易被网络犯罪分子利用，移动欺诈急剧上升，尤其是在像ChatGPT这样的先进技术出现之后，加强网络安全措施已经成为关键需求。调查显示，企业对电信运营商安全能力的期望值与其实际情况存在较大差距。”   转自GoUpSec，原文链接：https://mp.weixin.qq.com/s/59i32ksNuRRlUvki30mmOg 封面来源于网络，如有侵权请联系删除

内容创作者希望通过毒害数据来保护他们的知识产权免受人工智能的侵害。这会破坏机器学习生态系统吗？专家警告说，专注于通过抓取已发布内容来创建人工智能模型的公司之间的军备竞赛，以及希望通过污染数据来保护其知识产权的创作者之间的军备竞赛可能会导致当前机器学习生态系统的崩溃。当人工智能(AI)大型语言模型在机器（而不是人类）生成的数据上进行训练时，会导致模型崩溃。模型崩溃的催化下，生成式人工智能的退化不可避免。这导致连锁反应，生成更不靠谱的数据，训练出更加不靠谱的模型。 在8月发表的一篇学术论文中，芝加哥大学的计算机科学家提供了一项技术，可以防御大规模抓取内容（特别是艺术品）的行为，并阻止使用这些数据来训练人工智能模型。这一努力的结果将污染基于数据训练的人工智能模型，并阻止它们创建风格相似的艺术品。 另外一篇论文则强调，这种故意污染将与人工智能在企业和消费者中的广泛采用同时发生，这一趋势将使在线内容的构成从人类生成转变为机器生成。随着越来越多的模型在其他机器创建的数据上进行训练，递归循环可能会导致“模型崩溃”，即人工智能系统与现实脱节。 数据退化不可避免 英国和加拿大研究人员的一项研究表明，当人工智能(AI)大型语言模型在机器（而不是人类）生成的数据上进行训练时，会导致模型崩溃。模型崩溃的催化下，生成式人工智能的退化不可避免。这导致连锁反应，生成更不靠谱的数据，训练出更加不靠谱的模型。有专家形象地称这为数据乱伦！ “换句话说，大规模使用[大型语言模型]在互联网上发布内容将污染训练它们的数据集，”该论文表示。 随着越来越多的人工智能生成的文本和合成数据在线发布，这给未来训练生成人工智能带来了问题。 Open AI的ChatGPT和Alphabet的Bard等大型语言模型最初主要使用从互联网上抓取的人类生成文本进行训练，并使用进一步的人类输入进行微调。 但是，越来越多的在线内容也是由人工智能模型本身创建的。 当人工智能模型从机器生成的数据而不是人类创建的数据中学习时，“即使保留了一些原始数据，在几次迭代内也会发生重大退化，”他说。 “优化缺陷、有限模型和有限数据带来的错误最终会导致合成数据质量较低。随着时间的推移，错误会变得更加复杂，最终迫使从生成的数据中学习的模型进一步误解现实。” 贝里维尔机器学习研究所(BIML)联合创始人加里·麦格劳(Gary McGraw)表示，数据退化已经发生，可能会给未来的人工智能应用带来问题，尤其是大型语言模型(LLM)。 “如果我们想要拥有更好的LLM，我们需要让基础模型只吃好东西，”他说。“如果你认为他们现在所犯的错误很糟糕，那么你就等着看他们犯下自己的错误并犯下更明显的错误时还可能会发生什么。” 数据中毒 随着研究人员继续研究数据中毒问题，这一问题引起了人们的担忧。数据中毒可以是对未经授权的内容使用、对人工智能模型的攻击或人工智能系统不受监管使用后的自然进展的防御。例如，开放全球应用程序安全项目(OWASP)于8月1日发布了大型语言模型应用程序的十大安全问题列表，将训练数据中毒列为LLM的第三大威胁。 一篇关于防止未经许可模仿艺术家风格的防御措施的论文强调了数据中毒的双重性质。芝加哥大学的一组研究人员创建了“风格斗篷”，这是一种对抗性人工智能技术，可以修改艺术品，使经过数据训练的人工智能模型产生意想不到的输出。研究显示，他们的方法被称为“Glaze”，已成为Windows和Mac中的免费应用程序，下载量已超过74万次，并在USENIX安全研讨会上获得了2023年互联网防御奖。 软件安全公司Contrast Security的首席产品官、OWASP Top-10的负责人Steve Wilson表示，虽然他希望人工智能公司和创作者社区能够达到平衡，但目前的努力可能会导致更多的问题而不是解决方案。 “正如恶意行为者可能会引入误导性或有害数据来破坏人工智能模型一样，‘扰动’或‘风格斗篷’的广泛使用也可能会产生意想不到的后果，”他说。“这些问题可能会降低有益的人工智能服务的性能，也会造成法律和道德困境。” 数据鱼龙混杂（好的、坏的和有毒的） 如果不引入人类内容创作者，专注于创建下一代人工智能模型的公司将面临风险。人工智能模型依赖于人类创建的内容，而未经许可的内容的广泛使用造成了一种分离性的断裂：内容创建者正在寻找保护其数据免遭意外使用的方法，而人工智能系统背后的公司则旨在使用这些内容进行培训。 防御措施以及互联网内容从人类创建到机器创建的转变可能会产生持久的影响。根据加拿大和美国大学的一组研究人员发表的论文，模型崩溃被定义为“影响一代代学习生成模型的退化过程，生成的数据最终会污染下一代模型的训练集”。 研究人员表示，“如果我们要维持从网络上抓取的大规模数据进行训练的好处，就必须认真对待模型崩溃”。“事实上，当LLM在从互联网上爬取的数据中生成内容时，收集到的有关人类与系统的真实交互的数据的价值将变得越来越有价值。” Contrast Security的Wilson表示，当前的大型人工智能模型——假设它们赢得了创作者带来的法律诉讼——可能会找到绕过正在实施的防御措施的方法。他说，随着人工智能和机器学习技术的发展，他们将找到检测某些形式的数据中毒的方法，从而使防御方法的效率降低。 此外，更具协作性的解决方案，例如Adobe的Firefly（它用数字“营养标签”标记内容，提供有关用于创建图像的来源和工具的信息）可能足以保护知识产权，而不会过度污染生态系统。 然而，这些方法是“一种创造性的短期解决方案，但不太可能成为长期防御人工智能生成的模仿或盗窃的灵丹妙药”，威尔逊说。“重点或许应该放在开发更强大、更道德的人工智能系统上，并辅之以强有力的法律框架来保护知识产权。” BIML的McGraw认为，如今致力于大型语言模型(LLM)的大公司应该大力投资以防止互联网上的数据污染，并且与人类创造者合作符合他们的最大利益。 “他们需要找到一种方法将内容标记为‘我们制作的，所以不要将其用于培训’——本质上，他们可能只是自己解决问题，”他说。“他们应该想这样做……我不清楚他们是否已经吸收了这一信息。” LLM的救赎之路 可以设想多种方法来解决LLM训练中复杂的数据问题。先发优势方法强调保留对原始人类生成数据源的访问。使用有错误的数据会给模型的学习过程带来缺陷，导致对现实的理解出现偏差。随着时间的推移，这些误解会被放大，削弱人工智能的实用性。 区分人工智能生成的数据和人类生成的数据很困难。因此，还必须考虑采用社区范围的协调方法，以确保参与LLM创建和部署的不同实体共享确定数据源所需的信息。确保原始数据中的少数群体在后续数据集中得到公平的代表也很重要，不仅在数量上，而且在其独特属性方面。 随着人工智能模型越来越多地吞噬机器生成的内容，模型崩溃的阴影变得越来越大。为了抵御令人难以忘怀的深渊并挽救这一变革性技术，迫切需要强大的数据收集、准确的注释和全社区的协调。     转自安全内参，原文链接:https://www.secrss.com/articles/58441 封面来源于网络，如有侵权请联系删除

随着生成式人工智能技术的快速普及，对人工智能生成内容的检测需求不断增长。谷歌近日推出了SynthID的测试版，这是一种识别人工智能生成的图像并为其添加水印的工具。 SynthID最初将提供给数量有限的Imagen用户，Imagen是谷歌基于云的人工智能模型，用于从文本生成图像。 SynthID可将数字水印直接嵌入到Imagen生成的图像的像素中，对人眼不可见，但可以通过特定软件检测到。 谷歌的研究人员表示：“SynthID添加的水印不会影响图像质量，并且即使在添加滤镜、更改颜色以及使用各种有损压缩方案（最常用于JPEG）保存等修改之后，水印仍可被检测到。” SynthID使用两个经过各种图像训练的深度学习模型。一个添加难以察觉的水印，另一个通过提供三个图像识别置信度来确定图片是否由Imagen生成。 虽然元数据（存储有关谁创建图像文件以及何时创建的详细信息的数据）也通常用于识别人工智能图片，但元数据可能在图片编辑过程中被更改或丢失，而SynthID的水印集成到图像像素中，即使在元数据丢失时也仍然可以检测到。 谷歌表示，在不久的将来，SynthID可以扩展到其他人工智能模型（生成的图片），集成到更多谷歌产品中，并提供给第三方。     转自GoUpSec，原文链接:https://mp.weixin.qq.com/s/L1nDNTcUsgq-U6GOFyWDBQ 封面来源于网络，如有侵权请联系删除

美国国防部高级研究计划局（Defense Advanced Research Projects Agency，DARPA）计划发起一项为期两年的竞赛–人工智能网络挑战赛（AI Cyber Challenge），作为白宫正在实施的提高软件安全性计划的一部分，该竞赛将要求参赛者利用人工智能识别并修复软件漏洞。 人工智能网络挑战赛将与人工智能初创公司Anthropic和OpenAI以及微软和Google合作，让美国的参赛团队利用人工智能来确保”重要软件”（特别是关键基础设施代码）的最佳安全。Linux 基金会的开源安全基金会（OpenSSF）将担任挑战赛顾问，1850 万美元的奖金将颁发给最优秀的参赛者。 DARPA 表示，它还将为最多七家希望参赛的小型企业提供每人 100 万美元的奖金。 “我们希望创建能够自动防御任何类型软件攻击的系统，”DARPA 项目经理佩里-亚当斯（Perry Adams）在昨天的新闻发布会上对记者说，他是人工智能网络挑战赛的构想者。”最近在人工智能方面取得的成果，如果以负责任的方式加以利用，我认为在保护我们的代码安全方面具有非凡的潜力。” 亚当斯指出，关键软件中越来越多地使用开源代码。GitHub 最近的一项调查显示，高达 97% 的应用程序利用了开源代码，90% 的公司正在以某种方式应用或使用开源代码。 开放源代码的普及带来了创新的爆炸式增长。但同时也为破坏性的新漏洞和漏洞利用打开了大门。Synopsys 公司 2023 年的一项分析发现，84% 的代码库至少包含一个已知的开源漏洞，91% 的代码库拥有过时版本的开源组件。 Sonatype 的一项研究发现，2022 年，供应链攻击的数量同比增长了 633%。 去年，拜登-哈里斯政府发布了一项行政命令，以提高软件供应链的安全性，并成立了一个网络安全安全审查委员会，负责分析网络攻击，并就未来的保护措施提出建议。2022 年 5 月，白宫联合开源安全基金会和 Linux 基金会，呼吁在两年内提供 1.5 亿美元资金，以解决突出的开源安全问题。 但随着人工智能网络挑战赛的启动，拜登政府显然认为人工智能在网络防御中可以发挥更大的作用。 亚当斯说：”人工智能网络挑战赛提供了一个机会，让我们探索当网络安全和人工智能领域的专家能够获得一套前所未有的跨公司综合资源时，会有哪些可能。如果我们取得成功，我希望看到人工智能网络挑战赛不仅能在这一领域产生下一代网络安全工具，还能展示如何通过在这里捍卫人工智能的关键基础来利用人工智能改善社会。” 虽然关于人工智能协助网络攻击的潜力–例如通过生成恶意代码–的文章已经写了很多，但一些专家认为，人工智能的进步可以使安全专业人员更高效地执行安全任务，从而有助于加强组织的网络防御。根据 Kroll 公司对全球商业领袖进行的一项调查，超过半数的商业领袖表示，他们正在最新的网络安全工作中使用人工智能。 参加人工智能网络挑战赛的团队将参加 2024 年春季的资格赛，得分最高的团队（最多 20 个）将受邀参加 2024 年年度 DEF CON 大会的半决赛。最多有 5 个团队将获得 200 万美元的奖金，并继续参加 2025 年 DEF CON 大会的决赛。最后一轮比赛的前三名将获得额外奖励，其中第一名将获得 400 万美元奖金。 所有获胜者都会被要求开源他们的人工智能系统–但不是必须。 人工智能网络挑战赛以白宫之前在今年的 EF CON 上宣布的模型评估为基础，该评估旨在确定类似 OpenAI 的 ChatGPT 的大型语言模型可被恶意利用的方式，如果运气好的话，还能找到解决这些漏洞的方法。此外，该评估还将衡量这些模型如何与拜登-哈里斯政府的”人工智能权利法案”蓝图和美国国家标准与技术研究院的人工智能风险管理框架中最近概述的原则和实践保持一致。     转自cnBeta，原文链接:https://www.toutiao.com/article/7265492925084156435/?log_from=e4d9a1a5a9705_1691647459426 封面来源于网络，如有侵权请联系删除

根据EndorLabs的数据，开源在AI技术堆栈中发挥着越来越重要的作用，但大多数项目(52%)引用了存在已知漏洞的易受攻击的依赖项。 EndorLabs在最新的《软件依赖管理状态报告》声称，在发布仅五个月后，ChatGPT的API就被超过900个npm和PyPI软件包调用，其中70%是全新的软件包。 然而，EndorLabs警告说，任何开源项目，都必须重视和管理与易受攻击的依赖项相关的安全风险。 OstermanResearch首席分析师MichaelSampson表示：“EndorLabs的这份报告证明了风光无限的人工智能技术的安全性并未跟上其发展步伐。” 不幸的是，企业不仅低估了开源依赖项中人工智能API的风险，而且还低估了安全敏感API的风险。 报告称，超过一半(55%)的应用程序在其代码库中调用了安全敏感API，如果包含依赖项，这一比例将上升至95%。 EndorLabs还警告说，ChatGPT等大型语言模型(LLM)技术在对可疑代码片段的恶意软件潜力进行评分方面表现不佳。结果发现，OpenAIGPT3.5的准确率仅为3.4%，而VertexAItext-bison的表现也好不到哪里去，为7.9%。 “这两种模型都会产生大量误报，这需要手动审查工作，并阻止自动通知相应的程序包存储库以触发程序包删除。也就是说，模型似乎确实正在改进，”报告指出。 “这些发现说明，目前将大语言模型用于安全敏感用例的难度很大。大语言模型肯定可以帮助人工审核人员，但即使评估准确率可以提高到95%甚至99%，也不足以实现自主决策。” 报告指出，开发人员可能会花费大量时间修复代码中的漏洞，而这些（依赖项的）漏洞甚至没有在他们的应用程序中使用。 报告声称，71%的典型Java应用程序代码来自开源组件，但应用程序仅使用了这些软件包中的12%的代码。 “未使用的代码中的漏洞很少可被利用；如果能了解整个应用程序中哪些代码是可访问的，企业可以消除或调低高达60%的修复工作的优先级。”报告指出。     转自GoUpSec，原文链接:https://mp.weixin.qq.com/s/bQc8l22_NouJX2-7onZQ0g 封面来源于网络，如有侵权请联系删除

近几个月来，伴随着 ChatGPT 的热度暴涨，OpenAI 也不断因 AI 的道德问题和数据安全隐患遭到多方质疑，甚至上周还受到了美国联邦贸易委员会（FTC）的正式调查——这也是美国监管机构首次正式发起对 AI 聊天机器人风险的审查。 而正当 OpenAI 因 ChatGPT 疲于应对各方审查时，一款“没有道德界限或限制”的「邪恶版 ChatGPT」悄然在网络上蔓延：WormGPT。 （图片来源：Hacking forum） 「邪恶版 ChatGPT」，每月 60 欧元 根据网络安全公司 SlashNext 博客报道，其团队在研究生成式 AI 在网络犯罪方面的潜在风险时，偶然发现了 WormGPT：“我们最近通过一个与网络犯罪有关的著名在线论坛获得了一个名为 ‘WormGPT’的工具，它是一个 GPT 模型的黑帽替代品。” 据了解，WormGPT 的收费标准是每月 60 欧元（约人民币 479 元），而 SlashNext 对 WormGPT 的形容是：“专为恶意活动而设计”，简直是“网络罪犯的武器库”。 WormGPT 由一位胆大的黑客设计，他写道：“这个项目（WormGPT）旨在提供 ChatGPT 的替代方案，让你做各种非法的事情，你能想到的所有与黑帽相关的事情，都可以用 WormGPT 完成。”为了证明他的说法，他还上传了相关截图，显示用户可要求机器人生成用 Python 编码语言编写的恶意软件。 WormGPT 基于 2021 年开源的 LLM GPT-J 模型开发，工作方式与 ChatGPT 大致相同：可处理人类自然语言提出的要求，并输出所要求的任何内容，包括故事、摘要和代码。但与 ChatGPT 或 Bard 不同的是，WormGPT 不用像 OpenAI 或谷歌这样的大型公司那样，必须要承担相关的法律义务。 据 SlashNext 介绍，WormGPT 在各种数据源上进行训练，尤其集中在恶意软件相关的数据上，加上输出没有道德限制，可以被要求执行各种恶意任务，包括创建恶意软件和“一切与黑帽有关的事情”，对于网络犯罪分子而言无疑是一大利器。 对于 WormGPT，NordVPN 网络安全专家 Adrianus Warmenhoven 的评价是“ChatGPT 的邪恶双胞胎”，因为它显然是从 OpenAI 对 ChatGPT 不断施加限制、而攻击者极力规避这些限制才衍生出来的。 为了全面评估 WormGPT 相关的潜在危险，SlashNext 团队进行了以 BEC 攻击（商业电子邮件泄露，一种通过电子邮件进行的社会工程学攻击，攻击者一般会伪造电子邮件消息以诱骗受害者执行某些操作）为重点的测试：“在一次实验中，我们要求 WormGPT 生成一封电子邮件，内容是向毫无戒心的账户经理施压，迫使其支付虚假发票。” WormGPT 的输出结果令 SlashNext 直呼危险：“结果令人非常不安。WormGPT 生成的电子邮件不仅极具说服力，而且在战略上也非常狡猾，展示了它在复杂的网络钓鱼和 BEC 攻击中的无限潜力。” AI 加持下，新手将轻易实现诈骗 通过上面这个测试，SlashNext 总结道，类似于 WormGPT 这样的生成式 AI 技术可能会带来巨大威胁，因为有了这类工具的加持后，就连网络犯罪新手都能轻易实现诈骗。 以 BEC 攻击为例，使用生成式 AI 具有以下两大优势： （1）卓越的语法：生成式 AI 可以创建在语法上无懈可击的电子邮件，使其看起来合法合理，被系统标记为可疑邮件的可能性会大幅降低。 （2）降低犯罪门槛：生成式 AI 的出现，极大简化了原本复杂的 BEC 攻击，即便是技术有限的攻击者也能使用生成式 AI，它将成为越来越多网络犯罪分子可以使用的工具。 不过同时，针对生成式 AI 可能引发的大范围 BEC 攻击，SlashNext 也建议了两种防范策略： （1）进行 BEC 专项培训：公司应制定广泛的、定期更新的培训计划，以应对 BEC 攻击，尤其是由 AI 增强的攻击，要让员工了解到 BEC 攻击的威胁，以及 AI 将如何加大这种威胁的原理。 （2）强化电子邮件的验证措施：为防范 AI 驱动的 BEC 攻击，企业应执行严格的电子邮件验证流程，例如当有来自组织外部的电子邮件冒充内部高管或供应商时，系统要自动发出警报等。 AI 领域仍存在不少挑战和局限性 而事实上，除了上文提到的 WormGPT 编写恶意软件、助力 BEC 攻击以外，上个月 ChatGPT 的“奶奶漏洞”也证实了一个事实：尽管 OpenAI 等公司都对 AI 技术做出了许多限制措施，但目前还是无法完全避免这类漏洞的出现。 上个月，一位名为 Sid 的用户发现，只要让 ChatGPT 扮演其过世祖母讲睡前故事，就能顺利骗出 Windows 10 Pro 密钥。 经过Sid 的分享后，越来越多用户发现了这个漏洞，并开始尝试欺骗 ChatGPT 报出 Windows 11 序列号，其中许多人都成功了。据了解，虽然这些密钥大多是无效的，但有少量序列号也确实是真实可用的。 不论是 ChatGPT 的“奶奶漏洞”，还是“网络犯罪分子专用”的 WormGPT 的出现，都证明了至少现阶段 AI 领域仍存在不少挑战和局限性。为此，一方面，研究人员需继续深入相关技术，在提高数据质量、优化算法的同时，充分考虑伦理道德层面的影响。另一方面，作为用户的我们也应时刻保持谨慎，避免对 AI 产生过度依赖。     转自Freebuf，原文链接:https://www.freebuf.com/news/373009.html 封面来源于网络，如有侵权请联系删除

人工智能技术“出圈”后，越来越多网络攻击者对生成人工智能工具表现出极大“兴趣”。从 Bleeping Computer 网站披露的信息来看，暗网市场目前有数十万个 OpenAI 证书待售。 据悉，技术不熟练和经验丰富的网络犯罪分子都可以使用这些工具，创建更具诱惑力的钓鱼电子邮件（电子邮件可以为目标专门定制），以增加网络攻击成功的机会。 黑客大面积入侵 GPT AI Flare 的安全研究人员在分析暗网论坛和市场时注意到，OpenAI 证书是最新待售的商品之一， 目前可以确定了约有 20 多万个 OpenAI 证书以窃取日志的形式在暗网上出售。 虽然这一数字与 OpenAI 1 月份 1 亿活跃用户相比，似乎微不足道，但也能说明网络攻击者“看到”了生成式人工智能工具蕴藏的破坏力。 2023 年 6 月，网络安全公司 Group IB 在一份报告中指出超过101100个被泄露的 OpenAI ChatGPT 账户凭证在非法的暗网市场上待售。 可见许多网络犯罪分子都盯上了人工智能，甚至有一网络攻击者还开发了一个名为 WormGPT 的盗版 ChatGPT，并对其进行了针对恶意软件的数据训练， 该工具也被被宣传为“黑帽的最佳 GPT 替代品”。 网络犯罪论坛上推广 WormGPT 工具 WormGPT 主要依赖 2021 年推出的 GPT-J 开源大型语言模型，以此来生成类人文本，其开发人员表示在不同的数据集上训练了该工具，重点是恶意软件相关数据，但没有提供有关具体数据集的提示。 WormGPT 显示了 BEC 攻击的潜力 电子邮件安全提供商 SlashNext 访问了 WormGPT，并进行了一些测试以确定其潜在危险。研究人员指出在一项实验中，指示 WormGPT 生成一封电子邮件，旨在向毫无戒心的客户经理施压，迫使其支付欺诈发票。 结果，WormGPT 生成的电子邮件不仅极具说服力，而且在战略上非常狡猾，完美展示了其在复杂的网络钓鱼和 BEC 攻击中的潜力。 WormGPT 为 BEC 攻击生成的内容 来源：SlashNext 通过分析生成的信息，SlashNext 的研究人员发现了生成式人工智能工具 WormGPT 除了能够生成 “无懈可击的语法 “的信息外，还能够使技术水平较低的攻击者实施超出其水平的攻击。 最后，研究人员指出尽管抵御这种威胁可能比较困难，但是并非不能防御。企业可以通过培训员工如何验证要求紧急关注的邮件（尤其是含有金融内容的邮件）、改进电子邮件验证流程，或标记出通常与 BEC 攻击相关的关键字。     转自Freebuf，原文链接:https://www.freebuf.com/news/372594.html 封面来源于网络，如有侵权请联系删除

随着生成式人工智能如今风靡一时，黑客将该技术重新用于自身利益，为加速网络犯罪提供了途径。根据SlashNext的调查结果，一种名为WormGPT的新型生成人工智能网络犯罪工具已在地下论坛上宣传，这是发起复杂的网络钓鱼和商业电子邮件入侵（BEC）攻击的一种方式。 安全研究员Daniel Kelley认为：“该工具将自己呈现为GPT模型的黑帽替代品，专为恶意活动而设计，黑客可以使用这种技术自动创建高度令人信服的虚假电子邮件，针对收件人进行个性化设置，从而增加攻击成功的机会。”该软件的作者将其描述为“众所周知的ChatGPT的最大敌人”，“可以让你做各种非法的事情” 在黑客手中，像WormGPT这样的工具可能是一种强大的武器，特别是OpenAI、ChatGPT和Google Bard采取越来越多地措施打击滥用大型语言模型（LLM）来制造令人信服的网络钓鱼电子邮件并生成恶意代码的行为。Check Point在本周的一份报告中表示：“与ChatGPT相比，巴德在网络安全领域的反滥用限制措施明显较低，因此，使用巴德的功能生成恶意内容要容易得多。” 今年2月初，这家以色列网络安全公司披露了黑客是如何利用API绕过ChatGPT 的限制，更不用通过使用大量电子邮件地址和密码列表入侵 ChatGPT 帐户，交易被盗的高级帐户。WormGPT在没有任何道德界限的情况下运行，这一事实突显了生成式 AI 构成的威胁，甚至允许新手黑客在没有技术手段的情况下迅速、大规模地发起攻击。更糟糕的是，黑客正在为ChatGPT推广“越狱”，目的是操纵该工具生成中可能泄露的敏感信息、制作不适当内容和执行有害代码的输出。 生成式人工智能可以创建语法无可挑剔的电子邮件，使它们看起来合法，并减少被标记为可疑的可能性。它的使用使复杂的BEC攻击的执行民主化。即使是技能有限的攻击者也可以使用这项技术，使其成为更广泛的网络犯罪工具。     转自E安全，原文链接:https://mp.weixin.qq.com/s/Vk5iRQoRDimY5FNOI0bLhQ 封面来源于网络，如有侵权请联系删除