在即将过去的2024年，亚太地区的网络犯罪分子越来越多地利用人工智能（AI）发起复杂的攻击活动，例如 AI 生成的钓鱼邮件、自适应恶意软件和深度伪造。 Check Point 软件技术公司亚太区安全架构师和布道师 Clement Lee 表示，这些攻击削弱了对关键通信的信任，并加剧了社会紧张局势。 他例举了一些具体案列：在印度，深度伪造助长了广泛的不实信息传播；在印度尼西亚，一段经过篡改的深度伪造视频旨在煽动反华情绪；在中国香港，一名财务员工因深度伪造冒充公司高管而被骗转账 2500 万美元。 对于即将到来的2025年，Palo Alto Networks 亚太及日本区总裁 Simon Green 认为亚太地区将迎来“AI 驱动的网络威胁”。他指出，深度伪造音频和视频攻击可能是这一趋势中最明显的表现形式。 随着亚太地区越来越多的企业组织在实施 AI 项目，预计会更多地寻求更好保护其数据的方法。 AvePoint 澳大利亚和新西兰副总裁兼董事总经理 Max McNamara 表示，客户正在询问如何在保持强大安全性的同时，从数据中获得更多价值，尤其是在他们希望从 Microsoft Copilot 等生成式 AI 产品中获益时。这始于拥有安全且可访问的数据，确保能够在不影响安全态势的情况下扩展解决方案，并严格遵守日益复杂的监管标准。 另外，亚太地区量子计算项目的增加可能会推动“先收集，后解密”攻击的上升。此类攻击涉及对手收集并存储当前加密的数据，目的是在未来量子计算机足够强大时解密这些数据。这些攻击对需要长期保持安全的敏感信息构成了重大威胁。 根据《财富商业洞察》（Fortune Business Insights）的数据，亚太地区是全球增长最快的量子计算市场，包括 IBM 、微软、谷歌、阿里巴巴、百度、 JSR 和D-Wave 在内的多家公司目前正在参与该地区的大型量子软件和硬件项目。例如，阿里巴巴与中国科学院合作部署了新型量子计算云平台。亚太地区的一些量子项目正在国家层面进行，例如印度由美国资助的国家量子技术与应用任务和新加坡的量子工程项目。 Lee 表示，量子计算的出现可能会使当前的加密标准过时，导致敏感数据暴露并危及关键基础设施。随着组织为未来的解密威胁做准备，抗量子密码学将获得更多关注。 Green 指出，亚太地区的组织应预期到来自包括国家支持的黑客在内的‘先收集，后解密’攻击。这些攻击将对政府和企业、民用和军事通信、关键基础设施以及开发量子项目的组织构成威胁。 Qualys EMEA 和亚太区首席技术安全官兼解决方案架构副总裁 Richard Sorosina 认为，亚太地区威胁环境的快速演变和日益复杂化可能会加速该地区许多组织安全能力的整合。他预计，组织将越来越多地采用统一的安全平台方法，以提供对组织风险的集中视图，并在发现风险时提供修复机制。   转自FreeBuf，原文链接：https://www.freebuf.com/news/418742.html 封面来源于网络，如有侵权请联系删除

网络安全市场中的AI价值正在经历前所未有的增长。根据Allied的一份市场研究报告，2022年市场价值为192亿美元，预计到 2032 年将达到惊人的1548 亿美元，复合年增长率（ CAGR ）为23.6%。 人工智能（AI）正在改变网络安全，使企业能够更有效地检测、应对和减轻威胁。网络安全中的人工智能结合了机器学习（ML）和深度学习等先进技术，以提供实时的威胁检测、数据保护和系统监控。人工智能处理和分析大量数据的能力使其能够快速识别可能潜在的安全漏洞。随着网络攻击的复杂性和频率继续上升，人工智能已成为各大企业的关键工具。 推动AI 在网安市场中增长的因素 在金融、医疗等领域，人工智能的能力延伸到了分析用户行为和交易数据，以识别欺诈活动。金融机构正在利用人工智能实时检测欺诈行为，为组织及其客户提供更好的保护。医疗行业也正在采用人工智能来保护患者数据，确保患者的隐私性。 几个因素正在推动人工智能在网络安全市场中的加速增长。 网络攻击的数量和复杂性的增加是最重要的驱动因素之一。网络罪犯越来越频繁破坏系统，针对包括银行、医疗和政府在内的各个部门组织，迫切需要更有效和先进的网络安全解决方案。网络安全中的AI可以减少响应安全事件所需的时间，提高安全团队的工作效率。 此外，对物联网IoT和云技术的日益依赖为网络犯罪分子利用漏洞创造了新的机会。物联网设备产生的数据量不断增加，以及正在向云基础架构转移，为网络安全解决方案带来了挑战和机遇。人工智能在保护这些新技术方面别有成效，为企业提供了跨多个平台保护数据的能力。 AI在网络安全领域的全球性影响 网络安全市场的人工智能分为各种安全类型，包括网络安全、端点安全、应用安全和云安全。以2022年为例，网络安全部门占据了市场主导地位，占全球收入的近40%。 由于企业优先保护其网络免受外部和内部威胁，预计这一细分市场将继续处于领先地位。机器学习是人工智能的一个关键组成部分，它通过不断分析数据来识别恶意软件和检测内部风险，特别是在加密通信中。与此同时，云安全部门预计将经历更高增长，2023年至2032年的复合年增长率为27.4%。由于对可扩展性和灵活性的需要，对基于云的运营的日益转变预计将推动这一需求。 全球网络安全领域的人工智能市场在多个地区都在增长， 北美在2022年的市场份额最大。美国尤其关注网络安全，政府倡议如网络安全和基础设施安全局（CISA）推动加强数字安全措施。金融和医疗行业是该地区增长的主要驱动力，人工智能技术越来越多地用于检测和预防网络威胁。欧洲也是 AI 网络安全市场的重要参与者，特别是由于其严格的数据隐私法规，如通用数据与法规（ GDPR ）。而德国、英国和法国这样的国家同样处于人工智能应用的领先地位，公共和私营部门都优先考虑先进的安全解决方案。欧盟的《网络安全法》进一步推动了对于人工智能网络安全解决方案的需求，特别是对于实时威胁检测的需求。 在预测期内，亚太地区预计将成为增长最快的地区。中国、日本和印度等国家网络攻击的激增促使对基于人工智能的安全解决方案的投资增加。此外，5G网络的快速扩张和数字转型推动了对于由人工智能驱动的网络安全工具的需求，大大保护了关键基础设施。 面临的市场挑战与未来展望 虽然人工智能在网络安全市场的增长前景强劲，但存在可能阻碍其扩张的挑战。一个显著的障碍是基于人工智能的网络安全解决方案的高实施成本。特别是中小型企业，可能会发现难以投资于此类技术。此外，还缺少能够部署和管理这些先进系统的网络安全专业人员。 尽管存在这些挑战，网安市场前景仍然乐观。 网络攻击频率增加、监管要求日益严格以及数字化转型的持续推动预计将推动对人工智能网络安全解决方案的需求。人工智能技术的创新，如自然语言处理（NLP）和深度学习的集成，可能会提高网络安全系统的效率，从而进一步加速市场增长。       转自Freebuf，原文链接：https://www.freebuf.com/news/416163.html 封面来源于网络，如有侵权请联系删除

谷歌透露，其基于人工智能的模糊工具OSS-Fuzz 已被用于帮助识别各种开源代码库中的26个漏洞，包括 OpenSSL 加密库中的一个中度漏洞。这一事件代表了自动化漏洞发现的一个里程碑：每个漏洞都是使用AI发现的，利用AI生成和增强的模糊测试目标。 提到的OpenSSL漏洞是CVE-2024-9143（CVSS评分：4.3），一个超出范围的内存写入缺陷，可能导致应用程序崩溃或远程代码执行。这个问题已经在OpenSSL的3.3.3、3.2.4、3.1.8、3.0.16、1.1.1zb和 1.0.2zl版本中得到了解决。 破题人类无法发现的漏洞 谷歌在2023年8月增加了利用大型语言模型（LLM）来提高OSS- Fuzz中模糊覆盖率的能力，并表示该漏洞可能在代码库中存在了20年，而且在现有的由人类编写的模糊目标中是无法发现的。此外，他们还指出，使用AI生成模糊测试目标已经提高了272个C/C++项目的代码覆盖率，新增了超过370,000行新代码。 谷歌解释说，这样的漏洞之所以能够长时间未被发现，一个原因是线覆盖率并不能保证函数没有漏洞。代码覆盖率作为一项指标，无法衡量所有可能的代码路径和状态，不同的标志和配置可能会触发不同的行为，从而暴露出不同的漏洞。这些人工智能辅助的漏洞发现也是可能的，因为LLMs被证明擅长模仿开发人员的模糊工作流程，从而允许更多的自动化。正如谷歌之前就提到过，其基于LLM的框架Big Sleep帮助发现SQLite开源数据库引擎中的一个零日漏洞。 C++代码安全性大幅提升 与此同时，谷歌一直在努力将自己的代码库转换为内存安全语言，如Rust，同时还对现有的C++项目（包括Chrome）中的空间内存安全漏洞（当代码可能访问超出其预定范围的内存时）进行改造。其中包括迁移到安全缓冲区和启用强化的libc ++，后者将边界检查添加到标准的 C ++数据结构中，以消除大量的空间安全缺陷。它进一步指出，纳入这一变化所产生的间接费用很小（即平均0.30%的绩效影响）。 谷歌表示，由开源贡献者最近添加的“hardened libc++”引入了一系列安全检查，旨在捕获生产中的越界访问等漏洞。虽然C++不会完全成为内存安全的语言，但这些改进降低了风险，从而使得软件更加可靠和安全。 具体来说，hardened libc++通过为标准C++数据结构添加边界检查来消除一大类空间安全漏洞。例如，hardened libc++确保对std::vector的每个元素的访问都保持在其分配的边界内，防止尝试读取或写入超出有效内存区域的尝试。同样，hardened libc++在允许访问之前检查std::optional是否为空，防止访问未初始化的内存。这种改进对于提高C++代码的安全性和可靠性具有重要意义。     转自Freebuf，原文链接：https://www.freebuf.com/news/415915.html 封面来源于网络，如有侵权请联系删除  

据Cyber Security News消息，研究人员最近在高级人工智能图像生成模型中发现了一个潜在的安全漏洞，能够在无意中泄露敏感系统指令，尤其是在高级扩散模型 Recraft 中。 近来，以Stable Diffusion 和 Midjourney 为代表的图像生成模型在人工智能生成图像领域掀起了一场革命。Invicti 的安全研究人员称，Invicti 公司的安全研究人员发现，这些模型的工作原理是通过一种称为 “去噪 “的过程，将随机噪音逐渐细化为清晰的图片。 目前在文本到图片排行榜上处于领先地位的 Recraft 所展示的功能已经超越了典型的扩散模型。研究人员注意到，Recraft 可以完成图像生成模型通常无法完成的语言任务。 例如，当提示数学运算或地理问题时，Recraft 会生成包含正确答案的图像，而其他模型则不同，它们只是将文本可视化，而无法理解。 此外，进一步的调查还发现，Recraft 采用了两级架构： 大型语言模型 (LLM) 处理和改写用户提示信息，以及将处理后的提示传递给扩散模型。这种独特的方法使 Recraft 能够处理复杂的查询，并生成更准确、更能感知上下文的图像。 不过也带来了一个潜在的漏洞。 通过仔细实验，研究人员发现某些提示可以诱使系统泄露部分内部指令。 通过生成带有特定提示的多个图像，研究人员能够拼凑出用于指导大模型行为的系统提示片段。 一些泄露的说明包括：以 “法师风格 “或 “形象风格 “开始描述、提供物体和人物的详细描述、将说明转化为描述性句子、包括具体的构图细节、避免使用 “太阳 “或 “阳光 “等词语、必要时将非英语文本翻译成英语。 这种无意中泄露系统提示的行为引起了人们对人工智能模型的安全性和隐私性的极大关注。 如果恶意行为者能够提取敏感指令，他们就有可能操纵系统、绕过安全措施或深入了解专有的人工智能技术。 这一事件为 AI 开发人员和研究人员敲响了警钟，随着 AI 不断进步并更深入地融入我们生活的各个方面，确保这些系统的安全性和完整性变得至关重要。     转自Freebuf，原文链接：https://www.freebuf.com/news/415336.html 封面来源于网络，如有侵权请联系删除

在最近的一份报告中，Palo Alto Networks 的研究人员披露了谷歌 Vertex AI 平台中的两个关键漏洞，这些漏洞可能使组织面临严重的安全风险。这些漏洞被称为 “ModeLeak”，可实现权限升级和模型外渗，可能允许攻击者访问 Vertex AI 环境中的敏感机器学习（ML）和大型语言模型（LLM）数据。 第一个漏洞是通过 Vertex AI 中的自定义作业进行权限升级。通过利用 Vertex AI Pipelines 中的自定义作业权限，攻击者可以访问整个项目的数据。报告指出：“通过操纵自定义作业管道，我们发现了一个权限升级路径，它允许我们访问远远超出预期范围的资源。这种访问权限包括从 Google 云存储和 BigQuery 数据集中列出、读取和导出数据的能力–这些操作通常需要更高级别的授权。” 通过自定义代码注入，研究人员演示了攻击者如何注入命令以打开反向 shell，从而在环境中创建后门。这一漏洞源于授予服务代理的默认权限，研究人员发现该权限过于宽泛。“凭借服务代理的身份，我们可以列出、读取甚至导出我们本不应该访问的数据桶和数据集中的数据。” 第二个漏洞带来了更为隐蔽的威胁：通过恶意模型进行模型外渗。恶意行为者可以将中毒模型上传到公共存储库，一旦部署，就会渗透到环境中的其他敏感模型。“想象一下恶意行为者将中毒模型上传到公共模型库的情景，”报告解释道。“一旦部署，恶意模型就会渗透到项目中的所有其他 ML 和 LLM 模型，包括敏感的微调模型。”这种情况创建了一个模型到模型的感染途径，嵌入在微调适配器中的专有信息可被攻击者复制和外渗。 Palo Alto Networks 此后与谷歌分享了这些发现，谷歌已部署了修复程序，以确保谷歌云平台（GCP）上 Vertex AI 的安全。为了抵御类似威胁，Palo Alto Networks 建议企业实施严格的访问控制，并密切监控模型部署流程。报告警告说，如果这些漏洞被威胁行为者利用，特别是在敏感数据驱动模型训练和调整的环境中，可能会造成广泛的后果。     转自Freebuf，原文链接：https://www.anquanke.com/post/id/301816 封面来源于网络，如有侵权请联系删除

从 1Password 公司的调查结果来看，人工智能等颠覆性技术正在加剧企业安全和员工生产力之间长期存在的”紧张关系“。更糟糕的是，50% 的网络安全专家表示，想要在企业安全和员工生产力之间找到恰当的平衡点几乎不可能。 目前来看，随着各种环境不断变化，企业员工面临着越来越大的工作压力，为了提高工作效率，员工开始更多的使用人工智能技术、远程工作以及未经批准的应用程序和设备。1Password 首席执行官 Jeff Shiner 表示，企业愈发看重生产力，这就给 IT 和安全领导者带来了巨大的安全挑战，他们时常感到没有预算来保护员工的安全。 此外，1Password 首席执行官 Jeff Shiner 还指出，在安全和生产力问题上，不应该非此即彼，无论员工喜欢以何种方式工作，企业和安全服务提供商都需要提供既能保护员工又能提高工作效率的解决方案，企业要牢记，确保员工的安全，就是确保企业的安全。 技术扩张给安全团队带来挑战 目前，虽然企业的 IT 和安全团队都在努力扩大员工对生成式 AI 等新工具和技术的访问权限，但其很难跟上这些技术的迭代速度，保护企业安全的挑战急剧增加。从 1Password 的调查数据来看，50%的安全专家表示，要在安全和员工生产力之间找到正确的平衡点几乎不可能。 其中，69% 的安全专家承认，在安全问题上，他们至少有一部分是被动的。79% 的受访者认为他们的安全保护措施不够充分，69% 的受访者指出，单点登录（SSO）工具不是确保员工身份安全的完整解决方案。 此外，很多受访者指出，企业员工倾向于使用工具、技术、设备来提高工作效率，虽然很支持他们想要的工作方式，但员工往往没有考虑或了解使用这些技术或设备对企业安全的影响。 1Password 的调查结果显示，34% 的员工使用未经批准的应用程序和工具，也就是所谓的”影子 IT“，这些员工平均使用五种”影子 IT 应用程序“或工具，每一种都代表着一种潜在的新威胁媒介。 但是也有 17% 的员工承认从未使用过工作设备，而是选择使用个人或公用计算机。54% 的员工承认对公司的安全政策松懈，原因主要包括希望快速完成工作，提高工作效率（24%），以及认为安全政策不方便（11%）或过于严格或不合理（11%）。 44% 的员工表示，如果工具更容易使用，政策更容易遵循，安全问题就会减少，但只有不到十分之一的网络安全专家（9%）表示，员工的便利性是他们选择安全软件时的首要考虑因素。 生成式人工智能的兴起 生成式人工智能的兴起加速了安全与员工生产力之间的”角力“，安全团队担心生成式人工智能可能会扩大攻击面，而员工则认为使用 AI 能够提高效率和产出的潜力。对此，92% 的网络安全专家对生成式人工智能存在安全顾虑，具体顾虑包括员工将公司敏感数据输入人工智能工具（48%）、使用用错误或恶意数据训练的人工智能系统（44%），以及落入人工智能增强的网络钓鱼企图（42%）。 此外，还有 57% 的员工表示，在工作中使用人工智能生成工具可以节省时间，提高工作效率，另外有一小部分员工（22%）承认在知情的情况下违反了公司关于使用生成式人工智能的规定，但这一比例相对较小。   转自Freebuf，原文链接：https://www.freebuf.com/news/397169.html 封面来源于网络，如有侵权请联系删除

有消息称：OpenAI、优步和亚马逊所使用的AI计算框架Ray发现了一个已被报告的漏洞，该漏洞遭到持续攻击，导致数千台存储AI工作负载和网络凭证的服务器被黑。据了解，这些攻击已经持续了7个月。 攻击者不仅篡改了AI模型，还泄露了访问内部网络和数据库的网络凭证，并获取了OpenAI、Hugging Face、Stripe和Azure等平台帐号的访问令牌。除了破坏模型和窃取凭证，攻击者还在能够提供大量算力的被侵入基础设施上安装了加密货币挖矿软件，并设置了反向shell，通过这种基于文本的界面实现对服务器的远程控制。 中了大奖 发现这些攻击的安全公司Oligo的研究人员在一篇文章中指出：“一旦攻击者掌控Ray生产集群，等于中了大奖。有价值的公司数据加上远程代码执行，攻击者很容易就能获得现金收益，而且可以完全隐匿在暗处，做到神不知鬼不觉（使用静态安全工具不可能检测到这种攻击）。” 被窃取的敏感信息包括AI生产工作负载。利用这些信息，攻击者可以在训练阶段控制或篡改模型，从而破坏模型的完整性。易受攻击的集群中，中央仪表板通常暴露在互联网上，这使得任何有意的人都可以查看迄今为止输入的所有命令。利用这些历史数据，入侵者可以快速了解模型的工作方式，并推测可以访问哪些敏感数据。 Oligo获取的屏幕截图显示，敏感私人数据和集群已经遭到了大规模的黑客攻击。被窃取的资源包括内部数据库以及OpenAI、Stripe和Slack帐号的加密密码哈希值和访问凭证。 OpenAI、Stripe、Slack的token和数据库令牌凭据 Ray是一个用于扩展AI应用程序的开源框架，允许大量应用程序同时高效地运行。通常，这些应用程序在大规模服务器集群上运行。框架正常运行主要依赖于提供接口显示和控制运行任务和应用程序的中央仪表板。这个仪表板提供了名为“任务API”（Jobs API）编程接口，允许用户通过简单的HTTP请求向集群发送一系列命令，无需身份验证。 去年，安全公司Bishop Fox的研究人员将这种行为标记为高严重性的代码执行漏洞，其跟踪编号为CVE-2023-48022。 默认配置不安全需专门加固 Bishop Fox的高级安全顾问Berenice Flores Garcia写道：“在默认配置中，Ray不强制进行身份验证。因此，攻击者可以自由提交任务、删除现有任务、检索敏感信息，并利用本次官方警告中描述的其他漏洞。” 对此，Ray的开发者和维护者Anyscale回应称该漏洞不存在。Anyscale官方表示，他们一直将Ray视为一个远程执行代码的框架，因此始终建议将Ray合理地隔离在有适当安全措施的网络内部。 Anyscale官方写道：“由于Ray本质上是一个分布式执行框架，其安全边界位于Ray集群之外。因此，我们强调您必须防止不受信任的机器（如公共互联网）访问您的Ray集群。” 对于被报告的“任务API”的内部行为，Anyscale表示并非漏洞，并且不会在短期内得到解决。不过，Anyscale承诺最终会进行变更，强制在API中进行身份验证。Anyscale解释道： 我们非常认真地考虑过这样做是否合理。到目前为止，我们还没有实施这一变更，因为我们担心用户可能会过分信任这种机制——它可能只能实现表面上的安全，并没有像他们想象的那样真正保护集群。 尽管如此，我们认识到，这是个见仁见智的问题。我们仍然认为组织不应该依赖Ray内部的隔离控制手段，如身份验证。但这些手段在进一步实施深度防御策略的某些情境中可能是有价值的。因此，我们决定将在未来的版本中将其作为一个新功能实施。 Anyscale的回应招致了一些批评。比如，用于简化在云环境中部署Ray的存储库将仪表板绑定到0.0.0.0，这是一个用于指定所有网络接口并在同一地址上指定端口转发的地址。这样易受攻击的入门级做法在Anyscale的网站上也可以找到。 批评者还指出，由于Anyscale声称被报告行为不是漏洞，导致很多安全工具未能标记攻击。 Anyscale的代表在一封电子邮件中表示，该公司计划发布一个脚本，允许用户轻松验证他们的Ray实例是否暴露在互联网上。 这些持续的攻击突显了正确配置Ray的重要性。Oligo和Anyscale在官方文档中列出了锁定集群的关键做法。Oligo还列举了Ray用户可以使用哪些指标来确定他们的实例是否已被入侵。   转自安全内参，原文链接：https://mp.weixin.qq.com/s/3diGwpqQjJje7r13vNajWA 封面来源于网络，如有侵权请联系删除

鉴于图像造假问题日益严重，尼康、索尼集团和佳能等主要相机制造商正在采取积极措施打击深度造假。他们正在努力在相机中实现数字签名，作为图像来源和完整性的证明。 据 Nikkei Assia 称，这些数字签名将包括有关日期、时间、地点和摄影师的信息，并且不会被篡改。这对于摄影记者和其他工作需要认证的专业人士来说尤其重要。尼康将在其无反光镜相机中提供此功能，索尼和佳能将在其专业无反光镜单反相机中包含此功能。 三个照片行业巨头已同意制定与基于网络的验证工具兼容的数字签名全球标准。该工具由全球新闻机构、科技公司和相机制造商联盟推出，任何人都可以免费验证图像的真实性。如果图像是使用人工智能创建或修改的，Verify 会将其标记为“无内容凭据”。 美国前总统唐纳德·特朗普和日本首相岸田文雄等名人的深度伪造品的激增凸显了此类技术的重要性。此外，中国清华大学的研究人员开发了一种新的生成式人工智能模型，每天能够生成约 70 万张图像。 其他科技公司也加入了反对篡改图像的斗争。谷歌发布了一种工具，可以在人工智能生成的图像中添加隐形数字水印，英特尔也开发了可以分析照片中肤色变化的技术，以帮助确定其真实性。日立正在研究防止在线身份欺诈的技术。 新的相机技术预计将于 2024 年推出。索尼将于 2024 年春季发布，佳能紧随其后。索尼也在考虑将此功能添加到视频中，佳能正在开发类似的视频技术。佳能还发布了一款图像管理应用程序，可以检测照片是否由人拍摄。 索尼计划向其他媒体推广该技术，并已于 10 月份与美联社进行了现场测试。佳能正在与汤森路透和斯塔林数据完整性实验室（斯坦福大学和南加州大学创建的研究所）合作开发这项技术。 相机制造商希望他们的技术能够帮助恢复人们对图像的信任和信心，这些图像塑造了我们对世界的看法。 转自安全客，原文链接：https://www.anquanke.com/post/id/292367 封面来源于网络，如有侵权请联系删除

IBM 的一项新研究表明，当前的生成式人工智能 (AI) 模型已经非常擅长编写看似高度可信的网络钓鱼电子邮件，并且可以为攻击者节省大量时间。 在IBM针对一家未透明名称的全球医疗保健公司1600 名员工进行的测试中，各有一半的员工分别收到了来自由真人和AI编写的钓鱼邮件，结果显示，14% 的员工误入了真人编写的钓鱼电子邮件并点击了恶意链接，11% 的员工则陷入了由ChatGPT 编写的钓鱼邮件。  ChatGPT 制作的钓鱼电子邮件（由 IBM 提供） 虽然由真人编写的钓鱼邮件在欺骗度上高于AI，但差距已经不大，更重要的是，研究人员只用了五分钟就让 ChatGPT 写出了一封钓鱼邮件。 领导这项实验的 IBM 首席人力黑客斯蒂芬尼·卡拉瑟斯（Stephanie Carruthers） 说道：““我的团队通常需要大约 16 个小时来构建网络钓鱼电子邮件，而且这还不考虑基础设施设置。因此，攻击者可以通过使用生成式人工智能模型节省近两天的工作时间。” 虽然ChatGPT 开发商 OpenAI 已经采取了保护措施，防止聊天机器人响应网络钓鱼电子邮件、恶意软件或其他恶意网络工具的直接请求。但卡拉瑟斯和她的团队已经找到了解决方法。 团队首先要求 ChatGPT 列出医疗保健行业员工关注的主要领域，然后提示 ChatGPT在电子邮件中列出最重要的社交工程和营销技术，以提高更多员工点击电子邮件中恶意链接的可能性。接着，提示询问 ChatGPT 发件人应该是谁——公司内部人员、供应商或外部组织。最后，要求ChatGPT根据刚刚提供的信息制作一封电子邮件。 “我拥有近十年的社会工程经验，制作了数百封网络钓鱼电子邮件，我甚至发现人工智能生成的网络钓鱼电子邮件相当有说服力，”卡拉瑟斯说。 她解释说，在创建网络钓鱼电子邮件方面，人仍然比机器更好，因为生成式人工智能模型仍然缺乏欺骗更多人所需的情商。 然而，IBM X-Force 已经观察到，诸如 WormGPT 之类的工具在各种宣传网络钓鱼功能的论坛上出售，表明攻击者正在测试人工智能在网络钓鱼活动中的使用，而且该技术正在不断改进。   转自Freebuf，原文链接：https://www.freebuf.com/news/381833.html 封面来源于网络，如有侵权请联系删除

网络安全公司 SlashNext 发现，如今的 AI 聊天机器人出现了一种令人担忧的情况。有用户利用AI聊天机器人系统漏洞进行”越狱”操作，这违反了道德准则和网络安全协议。 ChatGPT曾因其先进的对话能力而声名鹊起，然而有一些用户发现了能够绕过其系统内置的安全措施的弱点。如果有人可以操纵聊天机器人提示系统，那就能发布一些未经审查和监管的内容，这引发了道德问题。AI聊天机器人 “越狱 “涉及发布特定命令或叙述，可触发无限制模式，使AI能够不受约束地做出反应。网上一些讨论社区中已经有人在分享这些越狱的策略和战术。 Critical Start 公司网络威胁研究高级经理 Callie Guenther 说：这些平台是用户分享越狱策略、战略和提示的协作空间，以充分发挥人工智能系统的潜力。虽然这些社区的主要动力是探索和推动人工智能的发展，但必须注意到事情的两面性。 SlashNext解释说，这种趋势也引起了网络犯罪分子的注意，他们开发了一些可以利用定制的大型语言模型（LLM）达到恶意目的工具。 研究表明，除了 WormGPT 以外，这些工具大多只是连接到越狱版的公共聊天机器人，能够允许用户在保持匿名的情况下利用AI生成一些内容。 随着AI技术的不断进步，人们对AI越狱的安全性和道德影响的担忧与日俱增。防御安全团队在这方面希望能实现以下两个目标： Darktrace 战略网络人工智能副总裁 Nicole Carignan 说，首先他们可以协助研究如何保护 LLM 免受基于提示的注入，并与社区分享这些经验。 其次，他们可以利用人工智能大规模防御更复杂的社交工程攻击。要想在进攻型人工智能时代有效地保护系统，就需要不断壮大防御型人工智能武器库，而我们已经在这方面取得了重大进展。 据 SlashNext 报道，OpenAI 等组织正在采取积极措施，通过漏洞评估和访问控制来加强聊天机器人的安全性。 研究人员目前正在探索更加有效的策略来强化聊天机器人的安全性，以防止其被那些恶意行为者所利用。AI安全仍处于早期阶段，Darktrace方面未来的目标是开发出能够抵御试图破坏其安全的聊天机器人，同时继续为用户提供有价值的服务。 转自Freebuf，原文链接：https://www.freebuf.com/news/377935.html 封面来源于网络，如有侵权请联系删除