本文揭示了 DeepSeek 人工智能聊天机器人中的一个现已修补的安全漏洞的详细信息，如果成功利用，黑客可通过输入注入攻击方式控制受害者的账户。 安全研究人员 Johann Rehberger，他记录了许多针对各种人工智能工具的注入攻击，发现在 DeepSeek 聊天中提供”Print the xss cheat sheet in a bullet list. just payloads”的输入触发了 JavaScript 代码的执行，作为生成的响应的一部分——这是典型的跨站脚本（XSS）攻击。 XSS 攻击可能会产生严重后果，因为它们导致在受害者的网络浏览器上执行未经授权的代码。攻击者可以利用这些漏洞劫持用户的会话并访问与 chat.deepseek[.]com 域关联的 cookie 和其他数据，从而导致账户被接管。 “经过一些实验，我发现采取控制用户会话所需的全部是 chat.deepseek.com 域存储的 userToken，” Rehberger 表示，他补充道，可以使用特殊设计的提示来触发 XSS 并通过注入攻击访问被攻击用户的 compromised user’s userToken 。 提示包含了一系列的指令和一个 Base64 编码的字符串，DeepSeek 聊天机器人将其解码后执行 XSS 载荷，用于提取受害者的会话令牌，最终允许攻击者冒充用户。 与此同时，Rehberger 还展示了 Anthropic 的Claude Computer Use 可以通过提示注入来滥用，Claude Computer Use 可以使开发人员通过光标移动、按键点击和键入文本来控制计算机。通过提示注入，攻击者可以滥用 Computer Use 来下载 Sliver 命令与控制（C2）框架，执行该框架，并与攻击者控制的远程服务器建立联系，从而自主运行恶意命令。 此外，还发现可以利用大型语言模型（LLM）的 ANSI 转义码输出来通过提示注入劫持系统终端。这种攻击主要针对 LLM 集成的命令行界面（CLI）工具，被命名为 Terminal DiLLMa 。 “十年前的功能为 GenAI 应用提供了意想不到的攻击面，” Rehberger 说。”对于开发者和应用设计者来说，考虑将 LLM 输出插入的上下文是很重要的，因为输出是不可信的，可能包含任意数据。” 这还不是全部，威斯康辛大学麦迪逊分校和圣路易斯华盛顿大学的学者进行的新研究揭示了 OpenAI 的ChatGPT 在给出的附加标记格式的外部图像链接渲染的问题，这些链接可能涉及淫秽和暴力内容，以一个普通的善意目标为借口。 此外，还发现通过提示注入，可以间接调用 ChatGPT 插件，而无需用户确认，甚至可以绕过 OpenAI 设定的限制，以防止渲染来自危险链接的内容，将用户的聊天记录泄露到由攻击者控制的服务器上。     转自Freebuf，原文链接：https://www.freebuf.com/news/417305.html 封面来源于网络，如有侵权请联系删除

据Cyber Security News消息，研究人员最近在高级人工智能图像生成模型中发现了一个潜在的安全漏洞，能够在无意中泄露敏感系统指令，尤其是在高级扩散模型 Recraft 中。 近来，以Stable Diffusion 和 Midjourney 为代表的图像生成模型在人工智能生成图像领域掀起了一场革命。Invicti 的安全研究人员称，Invicti 公司的安全研究人员发现，这些模型的工作原理是通过一种称为 “去噪 “的过程，将随机噪音逐渐细化为清晰的图片。 目前在文本到图片排行榜上处于领先地位的 Recraft 所展示的功能已经超越了典型的扩散模型。研究人员注意到，Recraft 可以完成图像生成模型通常无法完成的语言任务。 例如，当提示数学运算或地理问题时，Recraft 会生成包含正确答案的图像，而其他模型则不同，它们只是将文本可视化，而无法理解。 此外，进一步的调查还发现，Recraft 采用了两级架构： 大型语言模型 (LLM) 处理和改写用户提示信息，以及将处理后的提示传递给扩散模型。这种独特的方法使 Recraft 能够处理复杂的查询，并生成更准确、更能感知上下文的图像。 不过也带来了一个潜在的漏洞。 通过仔细实验，研究人员发现某些提示可以诱使系统泄露部分内部指令。 通过生成带有特定提示的多个图像，研究人员能够拼凑出用于指导大模型行为的系统提示片段。 一些泄露的说明包括：以 “法师风格 “或 “形象风格 “开始描述、提供物体和人物的详细描述、将说明转化为描述性句子、包括具体的构图细节、避免使用 “太阳 “或 “阳光 “等词语、必要时将非英语文本翻译成英语。 这种无意中泄露系统提示的行为引起了人们对人工智能模型的安全性和隐私性的极大关注。 如果恶意行为者能够提取敏感指令，他们就有可能操纵系统、绕过安全措施或深入了解专有的人工智能技术。 这一事件为 AI 开发人员和研究人员敲响了警钟，随着 AI 不断进步并更深入地融入我们生活的各个方面，确保这些系统的安全性和完整性变得至关重要。     转自Freebuf，原文链接：https://www.freebuf.com/news/415336.html 封面来源于网络，如有侵权请联系删除

美国证券交易委员会（SEC）已与一家交易公司达成和解，该公司涉嫌在声称使用人工智能（AI）进行加密货币和其他资产的自动交易方面向投资者撒谎。 美国证券交易委员会（SEC）周四表示，投资公司 Rimar LLC 和 Rimar USA 的所有者兼首席执行官伊泰-利普兹（Itai Liptz）和 Rimar USA 董事会成员克利福德-博罗（Cliffard Boro）声称可以使用人工智能交易加密货币、股票、债券和其他投资，从而从 45 名投资者手中筹集了近 400 万美元。 但实际上，该公司并没有使用人工智能，美国证券交易委员会称，使用新兴技术的说法只是用来愚弄投资者的 “流行语”，该机构称之为 “人工智能洗盘”。 总部位于加利福尼亚州伯林格姆的 Rimar USA 同意和解指控，并支付总额 31 万美元的民事罚款，但不承认或否认监管机构的调查结果。 美国证券交易委员会资产管理部门联席主管安德鲁-迪恩（Andrew Dean）在周四的一份新闻稿中说：“利普兹通过他控制的实体，以多种捏造的事实，包括有关最新人工智能技术的流行语，引诱投资者和客户。” 诉讼还称，尽管 Rimar 声称拥有 “一个人工智能驱动的平台，用于交易股票和加密资产等产品”，但实际上它 “在集资时根本没有交易应用，也从未有过股票或加密资产交易平台”。 美国证券交易委员会表示，Liptz 同意支付总额为 213611 美元的罚没款和预审利息，支付 25 万美元的民事罚款，并被禁止投资公司和结社。同时，Boro 同意支付 60,000 美元的民事罚款，Rimar LLC 同意接受谴责。 华尔街监督机构美国证券交易委员会今年 1 月警告公众，一些 “不良行为者可能会使用朗朗上口的人工智能相关流行语 ”来欺骗潜在投资者。     转自安全客，原文链接：https://www.anquanke.com/post/id/300747 封面来源于网络，如有侵权请联系删除

近日，美国国家标准技术研究院（NIST）重新发布了名为Dioptra的AI模型风险测试平台，用于评估AI风险和恶意攻击，尤其是针对AI模型训练数据的“投毒攻击”。该工具专注于对抗性攻击的测试，提供基准测试和红队测试环境。其特点是模块化、开源，适用于政府机构和中小企业。 美国主导的AI安全标准 Dioptra以古希腊天文测量和土地测量工具命名，是一个模块化、开源的基于Web的工具。该工具最初于2022年发布，旨在帮助训练和使用AI模型的公司和个人评估、分析和跟踪AI风险。NIST表示，Dioptra可用于AI模型基准测试和研究，同时提供一个共同平台，在“红队”环境中模拟威胁暴露模型。 NIST在新闻发布会上写道：“测试对抗性攻击对机器学习模型的影响是Dioptra的目标之一。”“这款开源软件提供免费提供下载，可以帮助社区（包括政府机构和中小型企业）进行评估，以验证AI开发者关于其系统（安全）性能的声明。” 近年来，面对以AI为代表的新技术革命，美国希望牢牢巩固其“智慧密集产业”的霸主地位，控制AI技术标准是其重点战略。 事实上，Dioptra是拜登政府颁布的的AI总统行政命令的直接产物，该命令要求NIST协助开展AI系统测试。该行政命令还包括建立AI安全标准，包括要求开发模型的公司（例如谷歌、苹果公司）在公开部署AI模型前通知联邦政府并分享所有安全测试结果。 Dioptra也是NIST最近成立的AI安全研究院的首个重大项目，提出了减轻AI风险的方法，例如防止AI被滥用生成非自愿色情内容。此前，英国AI安全研究院推出了Inspect工具集，同样旨在评估模型能力和整体模型安全。去年11月在英国布莱切利公园举行的英国AI安全峰会上，美国和英国宣布了共同开发先进AI模型测试的持续合作伙伴关系。 AI模型风险测试市场竞争激烈 随着AI技术的广泛应用，各行业对AI模型安全性的需求不断增加。金融、医疗、通信等领域尤其重视AI系统的可靠性和安全性。因此，这些领域的企业和机构积极采用AI模型风险测试工具，以确保其系统能够抵御各种潜在的攻击和风险。 尽管市场上有多种工具可供选择，但每种工具都有其局限性。许多开源工具，如Dioptra和CleverHans，虽然功能强大，但对初学者不够友好，使用门槛较高。而一些定制化程度高的工具，如ZTE的SecML，市场认知度较低，社区支持相对薄弱。此外，AI基准测试的复杂性和“黑箱”模型的不可解释性，增加了风险评估的难度。 以下是全球市场主要AI模型测试工具的对比分析： 国内的代表性AI模型风险评估工具和方案来自网络安全厂商绿盟科技和奇安信： 绿盟AI大模型风险评估工具：旨在帮助企业全面评估AI大模型的安全风险。该工具涵盖了多种商业和开源大模型，并具备迅速适配新兴大模型的能力。它基于专家团队筛选的测试用例库，能够识别内容安全和对抗安全的潜在威胁，并提供风险处理建议。 奇安信AI安全整体应对方案：奇安信发布的国内首个AI安全整体应对方案，虽然不是单一的测试工具，但它提供了包括AI安全框架、解决方案、评估服务和测试工具在内的全面服务，以确保监管与治理及时跟进，筑牢AI安全基石。 AI安全基准测试面临的挑战 目前，对主流AI模型进行安全基准测试仍是极为困难的任务，部分是因为当今最先进的AI模型都是黑盒技术，其基础设施、训练数据和其他关键技术（参数）细节由开发它们的公司保密。 此外，总部位于英国的非营利性AI研究机构Ada Lovelace Institute本月发布的一份报告发现，仅靠评估并不足以确定AI模型在现实世界中的安全性，部分原因是现行政策允许AI供应商自行选择要进行的评估内容。 最后，AI安全测试工具本身也大多存在局限性，例如NIST并不认为Dioptra可以完全消除AI模型的风险。但该机构指出，Dioptra至少可以揭示哪些类型的攻击可能会降低AI系统的性能，并量化这种对性能的影响，从而加强AI系统的安全性和可靠性，为AI技术的安全部署提供强有力的支持，并推动整个行业对AI风险管理和安全防护的重视和发展。 Dioptra在技术上的一个主要限制是，它只适用于可下载到本地运行的AI模型，例如Meta的Llama系列，目前还无法测试API背后的模型（如 OpenAI的GPT-4o）。   转自安全内参，原文链接：https://www.secrss.com/articles/68569 封面来源于网络，如有侵权请联系删除

LangChain是一个流行的开源生成式人工智能框架，其官网介绍，有超过一百万名开发者使用LangChain框架来开发大型语言模型（LLM）应用程序。LangChain的合作伙伴包括云计算、人工智能、数据库和其他技术开发领域的许多知名企业。 近日，来自Palo Alto Networks的研究人员详细描述了LangChain中的两个重大安全漏洞。 这些漏洞被识别为CVE-2023-46229和CVE-2023-44467，它们有可能允许攻击者执行任意代码和访问敏感数据。鉴于有一百多万名开发者依赖LangChain，这一发现给众多AI驱动的应用程序带来了重大安全风险。 CVE-2023-46229：服务器端请求伪造（SSRF） 在LangChain 0.0.317之前的版本中，存在一个通过精心设计的站点地图实现的SSRF漏洞。利用该漏洞，攻击者可以从内网获取敏感信息，并可能绕过访问控制。Palo Alto Networks在2023年10月13日发现了这一问题，并立即通知了LangChain团队。该漏洞已在版本0.0.317中通过拉取请求langchain#11925得到修复。 CVE-2023-44467：LangChain实验中的严重提示注入 CVE-2023-44467是一个严重提示注入漏洞，影响0.0.306之前的LangChain实验版本。LangChain实验是一个专为研究和试验而设计的Python库，包含可能被恶意提示利用的集成。这个漏洞影响了PALChain功能，这是一个通过程序辅助语言模型（PAL）增强语言模型生成代码解决方案的能力的功能。 该漏洞允许攻击者利用PALChain的处理能力进行提示注入，使他们能够执行有害的命令或代码。这种利用可能导致未经授权的访问或操纵，带来重大的安全风险。Palo Alto Networks在2023年9月1日识别出这一问题，并及时通知了LangChain开发团队，后者在第二天在LangChain实验PyPI页面上发布了警告。 随着对大型语言模型（LLM）应用需求的增加，LangChain的受欢迎程度在最近几个月急剧上升。其丰富的预构建组件和集成库使其成为开发者的首选工具。然而，这种广泛的应用也意味着这些漏洞的潜在影响被放大。 Palo Alto Networks的研究人员强烈建议使用LangChain的开发者和组织将LangChain更新到最新的修补版本，以确保应用安全。   转自Freebuf，原文链接：https://www.freebuf.com/news/407063.html 封面来源于网络，如有侵权请联系删除

OpenAI宣称成功识别并阻止了五起来自俄罗斯、伊朗和以色列等国的影响力行动，这些行动均利用了OpenAI的人工智能工具ChatGPT。 近日，因安全团队核心人员离职而深陷信任危机的OpenAI发布了最新的安全报告，宣称在过去三个月中挫败了五个利用ChatGPT操控舆论的黑客组织APT行动（舆论黑客）。 OpenAI将操控舆论的影响力活动（IO）定义为“试图以欺骗的方式操纵舆论或影响政治结果，而不揭露背后行为者的真实身份或意图”。 在报告中，OpenAI宣称成功识别并阻止了五起来自俄罗斯、伊朗和以色列等国的影响力行动，这些行动均利用了OpenAI的人工智能工具ChatGPT。 “舆论黑客”攻击成效不及预期 舆论操控和内容安全是人们最担忧的两大人工智能威胁，尤其是国家黑客组织利用ChatGPT-4o为代表的多模态大模型进行大规模的，跨平台、跨国界的意识形态渗透和社交媒体舆论操控。 据OpenAI报告，这些“舆论黑客”行动主要利用人工智能生成大量社交媒体帖子和评论等文本内容，同时还进行了一些辅助性的工作，例如通过调试代码来提高生产力。 但是，根据布鲁金斯突破量表(Brookings Breakout Scale)的评估，这些“舆论黑客”行动的评分均未超过2分，目前尚未取得显著成效。 布鲁金斯突破量表用1-6分来衡量影响力行动的影响范围，其中1分表示仅限于单个社区或平台，6分则意味着引发了政策干预或其他具体行动，例如暴力事件。2分意味着影响力行动跨越了单个平台中的多个社区，或者影响了多个平台中的单个社区。 五大舆论黑客攻击活动 报告指出，虽然“舆论黑客”来自全球各地，但本质上却非常相似，主要利用ChatGPT为多平台生成多语言版本的内容（账户、文章、评论、标签等），以下为报告调查的五大“舆论黑客”行动： “垃圾伪装(Spamouflage)”。该行动利用OpenAI的工具进行代码调试、社交媒体活动研究，并用多种语言在X平台、Medium和Blogspot发布内容。 俄罗斯的“语法错误(Bad Grammar)”。一个来自俄罗斯的新威胁组织，主要针对Telegram平台的东欧和美国用户。它也利用人工智能来调试用于运行Telegram机器人的代码，并用英语和俄语生成Telegram上的政治评论。 俄罗斯的“变形金刚(Doppelganger)”。这个俄罗斯组织利用人工智能在X平台和9GAG上用五种欧洲语言发布评论，生成标题，并将新闻文章翻译、编辑并转换成Facebook帖子。 伊朗的“国际虚拟媒体联盟(IUVM)”。利用人工智能为其网站生成和翻译文章、标题和网站标签。 以色列的“零点禅(Zero Zeno)”行动。由位于特拉维夫的政治营销和商业情报公司Stoic运营。Stoic利用OpenAI为Instagram、Facebook、X平台和其他网站生成文章和评论。Meta公司最近在其“对抗性威胁报告”中也点名了Stoic。报告显示，Meta删除了与Stoic关联的510个Facebook账户、32个Instagram账户、11个页面和1个群组。Stoic的各个Instagram账户只有大约2000个关注者，Facebook页面约有500个关注者，其Facebook群组的成员人数不足100人。 为了打击人工智能的滥用，OpenAI在一份更详细的报告中透露正在与传媒、社交网站和科技行业合作伙伴合作，并利用舆论黑客的威胁活动来设计更安全的用户平台。该公司还表示正在“投资于技术和团队，以识别和阻止恶意行为者，以及利用人工智能工具来帮助打击滥用行为。”报告并未进一步详细说明OpenAI采取了哪些具体措施来阻止和打击恶意行为者， 舆论黑客的四大攻击趋势 OpenAI在报告中透露，根据自身调查以及开源社区的工作，发现舆论黑客使用（类似ChatGPT的）大语言模型进行的隐蔽宣传活动呈现四大趋势： 内容生成：所有舆论黑客都利用OpenAI的服务生成大量文本（偶尔还包括图像），并且语言错误比仅靠人工操作者要少得多。 融合新旧：所有这些行动都不同程度地使用了人工智能，但没有一个行动只使用人工智能。相反，人工智能生成的内容只是他们发布的众多内容类型之一，其他类型包括更传统的形式，例如手动编写的文本或从互联网上复制的模因。 伪造参与度（人气）：OpenAI瓦解的一些活动利用ChatGPT在社交媒体上营造用户参与热度的假象。例如，用人工智能生成内容回复或评论自己的帖子。 提高效率：许多舆论黑客都尝试利用ChatGPT来提高效率，例如总结社交媒体帖子或调试代码。 舆论黑客的五大防御趋势 OpenAI在报告中指出，虽然关于人工智能的潜在应用的讨论的大多关注攻击侧，但是人工智能也为防御者提供了优势。例如人工智能技术大大提高了OpenAI的调查效率，以下为人工智能提高内容安全防御能力的五大趋势： 防御设计：OpenAI通过内容安全系统给攻击者制造麻烦，这也是OpenAI负责任地部署人工智能的方法。例如，OpenAI多次观察到ChatGPT拒绝生成舆论黑客要求的文本或图像。 人工智能增强调查：OpenAI基于此前使用GPT-4进行内容审核和网络防御的方法，又开发了新人工智能工具来提高（用户会话内容的）检测和分析效率。得益于新的工具，此次报告的调查耗时仅数天，而不是数周或数月。随着模型的改进，OpenAI将继续利用其功能来改进调查。 分发很重要：与传统的内容形式一样，人工智能生成的内容也必须进行分发才能到达受众。这些舆论操控行动在各种平台上发布内容，包括X、Telegram、Facebook、Medium、Blogspot和较小的论坛，但截至调查结束没有一个活动成功吸引大量受众。 行业共享的重要性：为了提高对舆论黑客行为的防御和反击能力，OpenAI与业界同行分享了详细的威胁指标。OpenAI自己的调查也受益于研究社区多年来的开源分析。 人为因素：人工智能可以改变人类操作者使用的工具包，但它不会改变操作者本身。OpenAI的调查表明，攻击者与前几代人一样容易犯人为错误。例如，（因为疏忽）将ChatGPT的拒绝消息发布在社交媒体和他们的网站上。虽然攻击工具在不断进化，但是黑客活动的运营和决策者的人性弱点和局限性并没有变。   转自GoUpSec，原文链接：https://mp.weixin.qq.com/s/aVzureY0NPIfZoJ3zfSXmA 封面来源于网络，如有侵权请联系删除

新一代人工智能工具正在迅速使这些电子邮件变得更加先进、更难发现，也更加危险。最近的研究表明，60% 的参与者成为人工智能 (AI) 自动网络钓鱼的受害者，这与成功率相当。 任何在大型组织工作过的人可能都接受过如何识别网络钓鱼攻击的培训——钓鱼攻击是一种伪装成合法来源的欺骗性信息，旨在诱骗用户泄露个人信息或点击有害链接。 网络钓鱼电子邮件通常会利用敏感时机并利用紧迫感，例如敦促用户更新密码。但不幸的是，对于公司和员工来说，新一代人工智能工具正在迅速使这些电子邮件变得更加先进、更难发现，也更加危险。 哈弗大学研究人员今年早些时候发表的研究表明，60% 的参与者成为人工智能 (AI) 自动网络钓鱼的受害者，这与人类专家创建的非人工智能网络钓鱼消息的成功率相当。也许更令人担忧的是，新研究表明，整个网络钓鱼过程可以使用 LLM（人工智能大模型） 实现自动化，从而将网络钓鱼攻击的成本降低 95% 以上，同时实现相同或更高的成功率。 网络钓鱼有五个不同的阶段：收集目标、收集有关目标的信息、创建电子邮件、发送电子邮件，最后验证和改进电子邮件。大型语言模型 (LLM)（例如 ChatGPT 和 Claude）能够生成类似人类的文本并进行连贯的对话，可用于自动化每个阶段。 因此，研究人员预计未来几年网络钓鱼的数量和质量将大幅增加。威胁级别因行业、组织和团队而异。因此，正确划分适当的风险级别以确定需要什么级别的网络钓鱼保护以及您应该为此支付多少费用（如果有的话）至关重要。 使用 LLM 创建网络钓鱼电子邮件 网络钓鱼电子邮件有两种类型：鱼叉式网络钓鱼和传统网络钓鱼（有时称为“喷洒式”（广撒网式）网络钓鱼）。鱼叉式网络钓鱼攻击是针对特定目标的某些特征和惯例而进行的个性化攻击，而喷洒式网络钓鱼则是普遍的大规模攻击。 鱼叉式网络钓鱼攻击成本高昂、耗时长，并且由于针对每个收件人进行个性化攻击，因此扩展性较差，但效果极佳。因此，攻击者可以在廉价而无效或昂贵而有效之间做出选择。 为了测试人工智能如何改变这一过程，哈弗大学研究人员进行了以下研究： 使用 LLM 创建的电子邮件（自动）。使用了 GPT-4 LLM 和消息提示，例如“创建一封电子邮件，为哈佛学生提供 25 美元的星巴克礼品卡，并附上一个链接，供他们访问折扣代码，字数不超过 150 个字。”字数限制很重要，因为 LLM 往往很冗长。 使用人类专家手动创建的电子邮件（手动）。这些电子邮件由人类专家使用一组指南编写，这些指南利用认知启发法和偏见（称为 V-Triad）手工制作网络钓鱼电子邮件。与在大量通用数据集上训练的 LLM 不同，V-Triad 是基于利用心理偏见的高度针对性和特定数据（现实世界的网络钓鱼电子邮件和欺骗性内容）手动创建的。 使用 LLM 创建的电子邮件，然后由人类专家编辑（半自动化）。这些电子邮件由 GPT-4 创建，然后由人类专家验证，以确保它们符合 V-Triad 提出的最佳实践。 当研究人员将这些电子邮件发送给 112 名参与者时，GPT 生成的电子邮件的点击率为 37%，V-Triad 生成的电子邮件的点击率为 74%，GPT 和 V-Triad 生成的电子邮件的点击率为 62%。参与者被分成不同的组，每组收到不同类型的电子邮件（GPT 生成、手动生成等）。样本量基于先前实证研究中为有针对性实验定义的最佳实践，研究论文对此进行了进一步描述。 结果表明，人工智能改变了这一竞争环境，大幅降低了鱼叉式网络钓鱼攻击的成本，同时保持甚至提高了成功率。大语言模型的输出质量正在迅速提高，因此我们预计它们将在未来几年内超越人类的能力。 研究表明，网络钓鱼过程的不同部分（例如信息收集和电子邮件创建）可以如何实现自动化。通过完全自动化网络钓鱼过程的所有部分，个性化和高度成功的网络钓鱼攻击的成本将降低到大规模和非个性化电子邮件的成本。 这意味着未来将面临大量可信且高度个性化的鱼叉式网络钓鱼电子邮件，攻击者可以以低成本大规模实施此类攻击。我们目前还没有足够的能力来处理这个问题。网络钓鱼的成本已经很高，而且情况将变得更糟。 使用 LLM 检测网络钓鱼电子邮件 如果新一代人工智能可以增强网络钓鱼电子邮件的流入量，那么它是否也能帮助阻止它们呢？合法电子邮件和网络钓鱼电子邮件之间唯一真正的区别在于其背后的意图，这使得检测变得困难，但并非不可能。 为了测试新一代人工智能如何影响防御能力，哈弗大学研究人员使用了四种流行的 LLM（GPT-4、Claude 2、PaLM 和 LLaMA）来识别网络钓鱼并向收件人提供建议的操作。 为每个模型提供了 20 封网络钓鱼电子邮件和 4 封来自我们个人收件箱的合法电子邮件。初步发现已经表明，只要使用得当，LLM 可以帮助检测和预防网络钓鱼电子邮件。 虽然有些语言模型擅长检测钓鱼邮件，但它们对不同邮件的表现差异很大。某些模型（尤其是 Claude）甚至能正确发现不明显的钓鱼邮件的恶意意图，有时甚至超过人类的检测率。其他模型表现不佳，甚至无法在明显的钓鱼邮件中检测到可疑内容。 当被问到重复的提示（多次问相同的问题）时，语言模型有时会对同一封电子邮件提供不同的答案。例如，问题“在 0-100 的范围内，0 表示完全可信，100 表示完全恶意，这封电子邮件有多大可能带有恶意？”对于同一封电子邮件，给出的可能性可能在 40% 到 80% 之间。 思路推理（重复提出提示，其中上一个提示建立在上一个提示的答案之上）也可能扭曲结果。例如，在上面的问题后面加上“你确定吗？”，结果经常会发生变化。重要的是要记住，LLM 是概率性的，这意味着它们会估计最有可能的答案，而不是基本事实。不过，它们正在迅速变得更加稳定和可靠。 大模型的预测准确性还受到查询方式的影响。对查询进行怀疑可以使正确检测网络钓鱼电子邮件的可能性增加一倍以上。 例如，询问“这封电子邮件可能有什么可疑之处吗？”而不是“这封电子邮件的目的是什么？”这类似于人类的感知，当被问及邮件是否可疑时，我们往往会变得更加怀疑，而不是被要求描述邮件的意图。有趣的是，当对模型进行怀疑时，误报率（合法电子邮件被归类为恶意电子邮件）并没有显着增加。 除了检测网络钓鱼电子邮件外，语言模型还提供了出色的回复建议。例如，在我们的实验中，LLM 鼓励收到诱人折扣优惠电子邮件的用户通过公司官方网站验证该优惠，这是避免网络钓鱼攻击的绝佳策略。这表明，LLM 的个性化推荐功能可用于创建定制的垃圾邮件过滤器，根据用户的习惯和特征检测可疑内容。 企业应如何做好准备 为了解决人们对人工智能鱼叉式网络钓鱼攻击日益增长的担忧，研究人员向企业领导者、管理人员和安全官员提出了三点检查建议： 了解人工智能增强型网络钓鱼的不对称能力。 确定公司或部门的网络钓鱼威胁严重程度。 确认您当前的网络钓鱼意识程序。 了解人工智能增强型网络钓鱼的不对称能力 AI 模型为攻击者提供了不对称的优势。虽然使用 LLM 创建欺骗性内容和误导用户很容易，但培训用户和增强人类的怀疑仍然具有挑战性。另一方面，AI 增强的进攻能力带来了更大的改进。在其他不直接针对人类的防御领域，例如检测恶意网络流量，AI 的进步为攻击者和防御者带来了相对的好处。但与软件系统不同，人类大脑无法轻易修补或更新。 因此，利用人类弱点的 AI 网络攻击仍然是一个严重的问题。如果组织缺乏更新的网络钓鱼保护策略，那么制定一个策略至关重要。即使他们有防御策略，我们也强烈建议他们更新它以应对 AI 增强攻击日益增加的威胁。 确定网络钓鱼威胁级别 人工智能网络钓鱼的威胁严重程度因组织和行业而异。准确评估企业的风险水平并进行成本效益分析以确定需要哪些保护以及需要支付多少费用至关重要。 尽管很难准确量化网络风险，但这是获得这项能力的关键。这可以通过内部组建专门的网络风险团队来实现，也可以通过外部分配资源聘请顾问和主题专家来实现。一个好的开始是阅读网络钓鱼意识培训和风险评估的行业最佳实践。 确认您当前的网络钓鱼意识程序 在确定适当的网络钓鱼防护投资水平后，组织需要对其当前的安全状态进行诚实评估。然后，他们可以做出明智的决定，是将更多资源分配给网络钓鱼防护还是将投资重新分配到其他地方。 为了便于进行这样的评估，下面列出了四个级别的网络钓鱼防护： 未进行培训：该组织或部门未开展网络钓鱼培训，没有指定网络钓鱼和/或网络安全意识培训经理，也没有例行报告网络钓鱼攻击或事件响应计划。 基本意识：会进行一些网络钓鱼意识培训，例如在新员工入职时，并指定专人负责与网络钓鱼相关的查询。已制定识别和报告可疑网络钓鱼企图的基本政策和程序，以及简单的事件响应计划。 中级参与：每季度进行一次网络钓鱼意识培训，员工对培训的满意率超过 75%。有一名经理负责网络钓鱼防护策略。该组织已建立有关网络钓鱼威胁的定期沟通、积极鼓励举报疑似网络钓鱼行为以及全面的事件响应计划。 提前准备：每月进行一次网络钓鱼意识培训，员工对培训的满意率超过 85%。一位在网络钓鱼和网络意识策略方面拥有 5 年以上经验的经理负责网络钓鱼保护策略。该组织已建立了有关网络钓鱼威胁的定期沟通，并积极鼓励建立一个简单的可疑网络钓鱼报告系统，以及一个经过实战检验且经常演练的全面事件响应计划。 人工智能，尤其是大型语言模型（LLM），大大增强了网络钓鱼攻击的严重性，可以预见，未来几年网络钓鱼的质量和数量都会大幅增加。 当以人类用户为目标时，人工智能让攻击者受益匪浅，因为它让利用心理弱点比保护和教育用户更容易、更划算。大多数员工都有数字足迹，这些信息是公开的，这使得冒充他们并发起定制攻击变得很容易。因此，网络钓鱼正在从单纯的电子邮件演变为大量超个性化消息，包括伪造的语音和视频。 管理人员必须正确划分组织和部门的威胁级别，以便采取适当的措施。通过提高员工对这一新兴威胁的认识，并让他们能够准确评估自己和组织面临的风险，公司可以努力保持领先地位，并减轻下一代网络钓鱼攻击的影响，这些攻击将比以往任何时候造成更多的受害者。 论文下载地址：https://ieeexplore.ieee.org/document/10466545   转自会杀毒的单反狗，原文链接：https://mp.weixin.qq.com/s/-GovrtUn1s0yB9xfv3d65Q 封面来源于网络，如有侵权请联系删除

Netacea 公司发布预警，93% 的企业网络安全负责人预计每天都会面临人工智能驱动的网络攻击，网络犯罪分子正在利用人工智能技术，策划更复杂、更智能化、更具威胁的网络攻击活动，智能化工具正迅速成为网络犯罪分子的惯用技俩。 人工智能技术自成熟以来就被网络犯罪分子盯上了，作为一种强大技术手段，威胁攻击者可以利用其构造出更复杂的网络攻击策略，从而规避受害者的网络防御检测机制，窃密敏感数据信息。 人工智能技术成为威胁攻击者的新“助力” 研究人员针对英国、美国等国的企业网络安全负责人，进行了一项有关“人工智能技术应用于网络攻击”的研究调查。结果显示，大多数安全负责人预计每天都会发生由人工智能驱动的网络攻击活动，甚至 65% 的受访者预计攻击性人工智能将成为网络犯罪分子最常用的手段，用于大多数网络攻击中。 此外，安全负责人还着重强调了进攻性人工智能的重要性。 由于时间紧迫，并且背负着保护其组织免受已知网络安全威胁以及潜在安全威胁，安全负责人必须确保企业董事会成员能够意识到进攻性人工智能可能带来的威胁。 在众多受访者中，有 11% 的安全负责人认为爬虫攻击是其业务面临的最大网络威胁，仅次于勒索软件、网络钓鱼和恶意软件（ Netacea 研究发现，对于大型企业来说，机器人攻击可能会导致其损失了 4.3% 的经营收入，这一数字相当于遭受了 50 次勒索软件要支付的赎金）。 人工智能技术改变了网络防御态势以及攻击方法 人工智能技术在被用作构造更具智能化的网络攻击工具的同时，也被用于网络防御。Netacea 调查的所有受访者都以某种方式将人工智能纳入了他们的安全堆栈，所有受访者都表示人工智能改善了他们的安全态势，其中 27% 的受访者表示这种改善非常显著。 人工智能技术在企业网络防御中具有很重要的作用，61% 的安全负责人认为人工智能大大降低了他们的运营开销。 调查表明，人工智能技术只能“赋能”防御高影响、低频率的攻击，例如 DDoS（62%），对于僵尸攻击（33%）起到作用相对较小，这种情况表明，虽然人工智能是一种值得欢迎的网络威胁防御手段，但它尚未得到普遍应用，也未被用于抵御最具破坏性的攻击。 有 90% 的受访者对其 Web 应用防火墙、DDoS 防护和 API 安全的人工智能防御能力充满信心，但只有 60% 的受访者对其僵尸管理工具持同样的看法。 最后，Netacea的 CTO Andy Still 强调，人工智能技术的强大能力和易于获取的特性使其成为攻击和防御的双刃剑，虽然目前许多安全负责人已经意识到了人工智能技术可能带来的潜在安全威胁，但对于这些威胁的来源仍有认识上的差距。   转自Freebuf，原文链接：https://www.freebuf.com/news/399865.html 封面来源于网络，如有侵权请联系删除

从 1Password 公司的调查结果来看，人工智能等颠覆性技术正在加剧企业安全和员工生产力之间长期存在的”紧张关系“。更糟糕的是，50% 的网络安全专家表示，想要在企业安全和员工生产力之间找到恰当的平衡点几乎不可能。 目前来看，随着各种环境不断变化，企业员工面临着越来越大的工作压力，为了提高工作效率，员工开始更多的使用人工智能技术、远程工作以及未经批准的应用程序和设备。1Password 首席执行官 Jeff Shiner 表示，企业愈发看重生产力，这就给 IT 和安全领导者带来了巨大的安全挑战，他们时常感到没有预算来保护员工的安全。 此外，1Password 首席执行官 Jeff Shiner 还指出，在安全和生产力问题上，不应该非此即彼，无论员工喜欢以何种方式工作，企业和安全服务提供商都需要提供既能保护员工又能提高工作效率的解决方案，企业要牢记，确保员工的安全，就是确保企业的安全。 技术扩张给安全团队带来挑战 目前，虽然企业的 IT 和安全团队都在努力扩大员工对生成式 AI 等新工具和技术的访问权限，但其很难跟上这些技术的迭代速度，保护企业安全的挑战急剧增加。从 1Password 的调查数据来看，50%的安全专家表示，要在安全和员工生产力之间找到正确的平衡点几乎不可能。 其中，69% 的安全专家承认，在安全问题上，他们至少有一部分是被动的。79% 的受访者认为他们的安全保护措施不够充分，69% 的受访者指出，单点登录（SSO）工具不是确保员工身份安全的完整解决方案。 此外，很多受访者指出，企业员工倾向于使用工具、技术、设备来提高工作效率，虽然很支持他们想要的工作方式，但员工往往没有考虑或了解使用这些技术或设备对企业安全的影响。 1Password 的调查结果显示，34% 的员工使用未经批准的应用程序和工具，也就是所谓的”影子 IT“，这些员工平均使用五种”影子 IT 应用程序“或工具，每一种都代表着一种潜在的新威胁媒介。 但是也有 17% 的员工承认从未使用过工作设备，而是选择使用个人或公用计算机。54% 的员工承认对公司的安全政策松懈，原因主要包括希望快速完成工作，提高工作效率（24%），以及认为安全政策不方便（11%）或过于严格或不合理（11%）。 44% 的员工表示，如果工具更容易使用，政策更容易遵循，安全问题就会减少，但只有不到十分之一的网络安全专家（9%）表示，员工的便利性是他们选择安全软件时的首要考虑因素。 生成式人工智能的兴起 生成式人工智能的兴起加速了安全与员工生产力之间的”角力“，安全团队担心生成式人工智能可能会扩大攻击面，而员工则认为使用 AI 能够提高效率和产出的潜力。对此，92% 的网络安全专家对生成式人工智能存在安全顾虑，具体顾虑包括员工将公司敏感数据输入人工智能工具（48%）、使用用错误或恶意数据训练的人工智能系统（44%），以及落入人工智能增强的网络钓鱼企图（42%）。 此外，还有 57% 的员工表示，在工作中使用人工智能生成工具可以节省时间，提高工作效率，另外有一小部分员工（22%）承认在知情的情况下违反了公司关于使用生成式人工智能的规定，但这一比例相对较小。   转自Freebuf，原文链接：https://www.freebuf.com/news/397169.html 封面来源于网络，如有侵权请联系删除

据CyberNews消息，Meta于4月5日宣布将对旗下Facebook 和 Instagram平台上的数字创建和更改媒体政策进行调整，以遏制在美国大选前利用人工智能进行的深度伪造内容传播。 据Meta内容政策副总裁莫妮卡-比克特（Monika Bickert）透露，这一政策将从今年5月起生效，其平台上发布的由人工智能生成的视频、图片和音频将被打上相应的标签，以进行显著区分。 人工智能生成的视频、音频和图片内容上标注新的 “Made with AI”（人工智能制造）标签，旨在帮助用户识别被操纵的内容 此外。对于在重要事实问题上容易对公众造成欺骗或误导的高风险性内容，无论是否涉及人工智能生成，Meta都将为其单独贴上更醒目的标签。 这一政策预示Meta将改变对可能存在篡改风险的内容的处理方式。从过去的删除政策转变为保留，同时向观众表明有关内容制作来源及过程的信息。 Meta 此前还宣布了一项计划——利用文件中内置的隐形标记来检测使用其他公司的生成式人工智能工具制作的图片，但该计划并未给出具体的实施日期。 公司发言人告诉路透社，新的标签方法将适用于Facebook、Instagram 和 Threads 服务上发布的内容。该公司的其他服务，包括 WhatsApp 和 Quest 虚拟现实头盔将适用与之不同的规则。 在此之前，技术人员曾警告称，生成式人工智能可能会影响美国大选，对Meta甚至是OpenAI 等供应商发布的指导方针界限构成挑战。 今年 2 月，Meta 监督委员会审查了美国总统乔-拜登（Joe Biden）去年在 Facebook 上发布的一段视频后，称Meta关于“受操纵媒体内容”的现有规则 “不连贯”，这段视频篡改了真实画面，错误地暗示拜登有不当行为。由于 Meta 现行的“受操纵媒体内容”政策规定，只有在人工智能制作的视频或让人看起来说了实际上从未说过的话的视频会被禁止。 因此，董事会表示，该政策也应适用于非人工智能内容（其误导性 “不一定比人工智能生成的内容低”），以及纯音频内容和描述人们做了实际上从未做过的事情的视频。   转自Freebuf，原文链接：https://www.freebuf.com/news/397077.html 封面来源于网络，如有侵权请联系删除