施耐德电气报告呼吁谨慎引导 AI 电力消耗以防失控
施耐德电气的一份报告考虑了四种可能的情况,并提出了一些指导原则以防止其失控,报告指出政策制定者需要谨慎引导人工智能数据中心未来的电力消耗。 能源基础设施企业施耐德电气在上个月召开的国际能源署全球能源与人工智能大会之后发布了这项研究报告。该研究题为《人工智能与电力:系统动力学方法》,研究了与人工智能相关的新兴思想流派及其对电力消费的影响。 关于人工智能(尤其是生成式人工智能)的兴起已经有很多报道,这导致人们在高性能和高功耗的基础设施上进行巨额投资,以开发和训练模型。 报告指出,现有的数据中心基础设施需要大量能源才能运行,并且需要额外的资源来支持预期的人工智能应用增长。这已经引发了人们对电网潜在压力和环境影响的担忧,如果人工智能的能源需求继续以目前的速度增长。 施耐德模拟了四种不同的情景,并将它们分别称为:可持续人工智能、增长极限、无边界富足和能源危机。这四种情景都预测 2025 年至 2030 年期间能源消耗将呈总体上升趋势,但此后根据每种情景所依据的假设,会出现明显分歧。 可持续人工智能着眼于在能源消耗稳步增长的同时优先考虑效率的潜在结果,而“增长的极限”则概述了人工智能发展受到自然或人类相关限制的受限路径。“无边界的富足”考虑了不受控制的增长的潜在风险,而“能源危机”情景则研究了能源需求和生产不匹配如何可能导致大面积短缺。 施耐德表示,可持续人工智能代表了一种有前景的方法,根据其模型,能源消耗将由预计的 2025 年 100 太瓦时 (TWh) 上升至 2035 年的 785 TWh。 在此情景下,到 2027-2028 年,GenAI 推理将成为人工智能领域电力消耗的主要驱动力,但也将转向更高效、能耗更低的模型。报告指出,其“特点是人工智能基础设施与需求之间的共生关系,效率和资源节约相互促进。” 《增长的极限》报告指出,GenAI 推理的持续应用容易受到电力和基础设施的限制。报告预计,到 2030 年,AI 的总能耗将从 2025 年的 100 TWh 基线增长到 510 TWh,但关键数据中心枢纽的电网电力供应、专用 AI 芯片的制造瓶颈以及大型语言模型的数据稀缺等挑战都将对其造成影响。 “无边界富足”情景表明,人工智能系统的快速和不受约束的发展有可能导致军备竞赛持续,基础设施规模越来越大、越来越强大,超出了可持续资源利用的能力。 施耐德预测,人工智能的总能耗将从 2025 年的 100 TWh 大幅上升至 2030 年的 880 TWh,并继续呈上升趋势,到 2035 年将达到惊人的 1,370 TWh。 这种情景体现了杰文斯悖论,即人工智能效率的提高反而导致整体能源消耗增加。它预测人工智能和数据中心将毫无障碍地扩张,因为技术乐观主义者推动人工智能在各个领域的快速部署,相信人工智能的进步将解决任何资源限制。 最后,能源危机模型预测人工智能的快速增长将导致其能源需求与经济的其他关键部门发生冲突。这将引发各种负面结果,包括经济衰退和依赖人工智能的行业面临的严峻运营挑战。 其中,人工智能能源消耗预计在2029年左右达到峰值,约670TWh,随后到2032年降至约380TWh,2035年进一步降至190TWh。报告称,不协调的人工智能治理将导致政策碎片化,从而造成全球或局部能源短缺。 施耐德列出了一系列可持续人工智能的建议,分为三个主要领域:人工智能基础设施;人工智能发展;以及治理、标准和教育。 第一条建议是,下一代数据中心应采用最新的冷却技术、高密度计算和现代节能 AI 硬件(如 GPU 和 TPU)进行优化。运营商应定期评估和升级基础设施,同时致力于提高数据中心的能源使用效率 (PUE)。 它还建议加快部署现场可再生能源发电,并结合先进的储能解决方案,以确保稳定的电力供应,并投资固态电池或储氢等技术。 公用事业公司还应为人工智能日益增长的能源需求做好规划,这将涉及与能源供应商、政策制定者和人工智能公司的合作,制定全面的战略。 报告指出,在人工智能发展方面,建议通过模型修剪、量化和轻量级架构等技术提高模型效率,同时开发测量的人工智能硬件功率配置文件。 人工智能公司应该为人工智能项目设立明确的关键绩效指标(KPI),包括能源效率和环境影响以及业务成果,同时应将循环经济原则应用于人工智能硬件和软件,以最大限度地减少负面影响。 至于治理、标准和教育,施耐德表示,政策制定者应该制定并实施可持续人工智能实践的认证计划,并为能源效率和环境影响制定明确、可衡量的标准。 此外,强大的人工智能治理框架应指导负责任的人工智能开发和部署,解决能源消耗、数据隐私和道德问题。 该报告还提倡人工智能教育项目,强调可持续做法对于培养一支能够应对未来挑战的劳动力队伍至关重要。例如,企业应该与教育机构建立合作伙伴关系,创建将人工智能技术技能与环保意识相结合的培训项目。 报告的很大一部分内容是附录,讨论了施耐德研究人员在制定和传达他们的情景时采用的方法,供有兴趣的人参考。这涉及创建系统动力学未来模型,以尝试回答有关可能结果的“假设”问题,以及影响这些结果的各种因素和权重。 作者还补充了免责声明,称他们知道在试图预测未来情景时会涉及妥协。报告称,虽然这项研究提供了对潜在人工智能电力消耗情景的洞察,但它强调了需要进一步研究的领域。 这些措施包括通过全面的生命周期评估(涵盖制造、数据中心建设和报废处理)更好地了解人工智能的环境足迹。报告指出,未来的研究还应改进本研究中使用的系统动力学模型,以更有效地捕捉不同行业和应用领域对人工智能需求的动态性质。 施耐德电气可持续发展研究所所长雷米·帕库 (Rémi Paccou) 在前言中表示,这项研究的目的并非是规范性的,而是通过探索这些潜在的未来,希望能够让利益相关者做好准备,应对未来的挑战和机遇。 “我们希望它能成为明智讨论和决策的起点。我们在提出研究成果时认识到,人工智能是一个快速发展的领域,我们的知识也在不断增长。”他说。 总体信息是,政府和行业领导者需要制定战略计划,以平衡人工智能发展与环境和经济可持续性。 转自军哥网络安全读报,原文链接:https://mp.weixin.qq.com/s/zTBtmtieXvnAcDVhSmK-rA 封面来源于网络,如有侵权请联系删除
人工智能可生成 10,000 种恶意软件变体,88% 的案例可逃避检测
网络安全研究人员发现,可以使用大型语言模型 (LLM) 大规模生成恶意 JavaScript 代码的新变种,以更好地逃避检测。 Palo Alto Networks Unit 42 研究人员在一项新报告中表示: “尽管 LLM 很难从头开始创建恶意软件,但犯罪分子可以很容易地使用它们来重写或混淆现有的恶意软件,使其更难检测。” “犯罪分子可以促使 LLM 执行看起来更自然的转换,这使得检测这种恶意软件更具挑战性。” 随着时间的推移,经过足够多的转换,该方法可以降低恶意软件分类系统的性能,诱使它们相信一段恶意代码实际上是良性的。 尽管 LLM 提供商已不断加强安全防护,以防止其出轨并产生意外输出,但恶意开发人员却宣传使用WormGPT等工具来自动编写令人信服的网络钓鱼电子邮件,这些电子邮件针对潜在目标,甚至会创建新的恶意软件。 早在 2024 年 10 月,OpenAI就披露它阻止了 20 多项试图使用其平台进行侦察、漏洞研究、脚本支持和调试的操作和欺骗网络。 Unit 42 表示,它利用 LLM 的强大功能迭代重写现有的恶意软件样本,目的是绕过“无罪推定”(IUPG)或PhishingJS等机器学习(ML)模型的检测,从而有效地为创建 10,000 种新型 JavaScript 变体铺平了道路,同时又不改变其功能。 对抗性机器学习技术旨在每次将恶意软件作为输入输入系统时,使用各种方法对其进行转换——即变量重命名、字符串拆分、垃圾代码插入、删除不必要的空格以及完全重新实现代码。 该公司表示:“最终的输出是恶意 JavaScript 的新变种,它保持了与原始脚本相同的行为,但恶意分数几乎总是低得多。”并补充说,算法在 88% 的时间内将其恶意软件分类器模型的判定从恶意转变为良性。 更糟糕的是,这些重写的 JavaScript 工件在上传到 VirusTotal 平台时也会逃避其他恶意软件分析器的检测。 基于 LLM 的混淆提供的另一个关键优势是,它的大量重写看起来比 obfuscator.io 等库实现的重写自然得多,后者由于它们对源代码引入更改的方式,更容易可靠地检测和指纹识别。 Unit 42 表示:“在生成式人工智能的帮助下,新的恶意代码变种的规模可能会增加。不过,我们可以使用相同的策略来重写恶意代码,以帮助生成可以提高机器学习模型稳健性的训练数据。” 转自军哥网络安全读报,原文链接:https://mp.weixin.qq.com/s/iSCmefHzaCwcHO0tuNkk2w 封面来源于网络,如有侵权请联系删除
ChatGPT 和 Sora 下线:OpenAI 在全球中断中争先恐后地恢复服务
在一场突如其来的意外事件中,风靡全球的 OpenAI 人工智能聊天机器人 ChatGPT 正在经历一场全球性的重大故障。这次中断始于北京时间 2024 年 12 月 11 日下午 3:17 左右,同时也影响了 OpenAI 的其他服务,包括新推出的文本到视频 AI 模型 Sora 和公司的 API。 用户在尝试访问 ChatGPT 时收到了一条消息:“ChatGPT 目前不可用”,随后确认 OpenAI 意识到了这个问题,并正在积极修复。这次故障给无数将 ChatGPT 整合到日常工作中的个人和企业的工作流程带来了影响。 故障原因尚不清楚。虽然 OpenAI 没有发布任何有关根本原因的官方声明,但各种猜测层出不穷。鉴于 ChatGPT 庞大的用户群(每周活跃用户超过 2 亿),它是网络攻击的首要目标。今年早些时候,一个名为 “匿名苏丹”(Anonymous Sudan)的组织声称对一次 DDoS 攻击负责,这次攻击与之前的 ChatGPT 故障同时发生。目前的中断是恶意活动还是技术故障造成的,还有待观察。 OpenAI 向用户保证,他们正在努力恢复服务。与此同时,全球数百万人仍在等待,这凸显了我们对这些强大人工智能工具日益增长的依赖性。我们将继续关注事态发展,并随时提供最新消息。 转自安全客,原文链接:https://www.anquanke.com/post/id/302661 封面来源于网络,如有侵权请联系删除
可接管账户权限,DeepSeek 和 Claude AI 存在命令注入漏洞
本文揭示了 DeepSeek 人工智能聊天机器人中的一个现已修补的安全漏洞的详细信息,如果成功利用,黑客可通过输入注入攻击方式控制受害者的账户。 安全研究人员 Johann Rehberger,他记录了许多针对各种人工智能工具的注入攻击,发现在 DeepSeek 聊天中提供”Print the xss cheat sheet in a bullet list. just payloads”的输入触发了 JavaScript 代码的执行,作为生成的响应的一部分——这是典型的跨站脚本(XSS)攻击。 XSS 攻击可能会产生严重后果,因为它们导致在受害者的网络浏览器上执行未经授权的代码。攻击者可以利用这些漏洞劫持用户的会话并访问与 chat.deepseek[.]com 域关联的 cookie 和其他数据,从而导致账户被接管。 “经过一些实验,我发现采取控制用户会话所需的全部是 chat.deepseek.com 域存储的 userToken,” Rehberger 表示,他补充道,可以使用特殊设计的提示来触发 XSS 并通过注入攻击访问被攻击用户的 compromised user’s userToken 。 提示包含了一系列的指令和一个 Base64 编码的字符串,DeepSeek 聊天机器人将其解码后执行 XSS 载荷,用于提取受害者的会话令牌,最终允许攻击者冒充用户。 与此同时,Rehberger 还展示了 Anthropic 的Claude Computer Use 可以通过提示注入来滥用,Claude Computer Use 可以使开发人员通过光标移动、按键点击和键入文本来控制计算机。通过提示注入,攻击者可以滥用 Computer Use 来下载 Sliver 命令与控制(C2)框架,执行该框架,并与攻击者控制的远程服务器建立联系,从而自主运行恶意命令。 此外,还发现可以利用大型语言模型(LLM)的 ANSI 转义码输出来通过提示注入劫持系统终端。这种攻击主要针对 LLM 集成的命令行界面(CLI)工具,被命名为 Terminal DiLLMa 。 “十年前的功能为 GenAI 应用提供了意想不到的攻击面,” Rehberger 说。”对于开发者和应用设计者来说,考虑将 LLM 输出插入的上下文是很重要的,因为输出是不可信的,可能包含任意数据。” 这还不是全部,威斯康辛大学麦迪逊分校和圣路易斯华盛顿大学的学者进行的新研究揭示了 OpenAI 的ChatGPT 在给出的附加标记格式的外部图像链接渲染的问题,这些链接可能涉及淫秽和暴力内容,以一个普通的善意目标为借口。 此外,还发现通过提示注入,可以间接调用 ChatGPT 插件,而无需用户确认,甚至可以绕过 OpenAI 设定的限制,以防止渲染来自危险链接的内容,将用户的聊天记录泄露到由攻击者控制的服务器上。 转自Freebuf,原文链接:https://www.freebuf.com/news/417305.html 封面来源于网络,如有侵权请联系删除
AI 自动挖洞不是梦,谷歌 AI 工具 OSS-FASZ 又发现 26 个开源漏洞
谷歌透露,其基于人工智能的模糊工具OSS-Fuzz 已被用于帮助识别各种开源代码库中的26个漏洞,包括 OpenSSL 加密库中的一个中度漏洞。这一事件代表了自动化漏洞发现的一个里程碑:每个漏洞都是使用AI发现的,利用AI生成和增强的模糊测试目标。 提到的OpenSSL漏洞是CVE-2024-9143(CVSS评分:4.3),一个超出范围的内存写入缺陷,可能导致应用程序崩溃或远程代码执行。这个问题已经在OpenSSL的3.3.3、3.2.4、3.1.8、3.0.16、1.1.1zb和 1.0.2zl版本中得到了解决。 破题人类无法发现的漏洞 谷歌在2023年8月增加了利用大型语言模型(LLM)来提高OSS- Fuzz中模糊覆盖率的能力,并表示该漏洞可能在代码库中存在了20年,而且在现有的由人类编写的模糊目标中是无法发现的。此外,他们还指出,使用AI生成模糊测试目标已经提高了272个C/C++项目的代码覆盖率,新增了超过370,000行新代码。 谷歌解释说,这样的漏洞之所以能够长时间未被发现,一个原因是线覆盖率并不能保证函数没有漏洞。代码覆盖率作为一项指标,无法衡量所有可能的代码路径和状态,不同的标志和配置可能会触发不同的行为,从而暴露出不同的漏洞。这些人工智能辅助的漏洞发现也是可能的,因为LLMs被证明擅长模仿开发人员的模糊工作流程,从而允许更多的自动化。正如谷歌之前就提到过,其基于LLM的框架Big Sleep帮助发现SQLite开源数据库引擎中的一个零日漏洞。 C++代码安全性大幅提升 与此同时,谷歌一直在努力将自己的代码库转换为内存安全语言,如Rust,同时还对现有的C++项目(包括Chrome)中的空间内存安全漏洞(当代码可能访问超出其预定范围的内存时)进行改造。其中包括迁移到安全缓冲区和启用强化的libc ++,后者将边界检查添加到标准的 C ++数据结构中,以消除大量的空间安全缺陷。它进一步指出,纳入这一变化所产生的间接费用很小(即平均0.30%的绩效影响)。 谷歌表示,由开源贡献者最近添加的“hardened libc++”引入了一系列安全检查,旨在捕获生产中的越界访问等漏洞。虽然C++不会完全成为内存安全的语言,但这些改进降低了风险,从而使得软件更加可靠和安全。 具体来说,hardened libc++通过为标准C++数据结构添加边界检查来消除一大类空间安全漏洞。例如,hardened libc++确保对std::vector的每个元素的访问都保持在其分配的边界内,防止尝试读取或写入超出有效内存区域的尝试。同样,hardened libc++在允许访问之前检查std::optional是否为空,防止访问未初始化的内存。这种改进对于提高C++代码的安全性和可靠性具有重要意义。 转自Freebuf,原文链接:https://www.freebuf.com/news/415915.html 封面来源于网络,如有侵权请联系删除
研究人员警告 AI 图像生成模型可能会泄露敏感指令
据Cyber Security News消息,研究人员最近在高级人工智能图像生成模型中发现了一个潜在的安全漏洞,能够在无意中泄露敏感系统指令,尤其是在高级扩散模型 Recraft 中。 近来,以Stable Diffusion 和 Midjourney 为代表的图像生成模型在人工智能生成图像领域掀起了一场革命。Invicti 的安全研究人员称,Invicti 公司的安全研究人员发现,这些模型的工作原理是通过一种称为 “去噪 “的过程,将随机噪音逐渐细化为清晰的图片。 目前在文本到图片排行榜上处于领先地位的 Recraft 所展示的功能已经超越了典型的扩散模型。研究人员注意到,Recraft 可以完成图像生成模型通常无法完成的语言任务。 例如,当提示数学运算或地理问题时,Recraft 会生成包含正确答案的图像,而其他模型则不同,它们只是将文本可视化,而无法理解。 此外,进一步的调查还发现,Recraft 采用了两级架构: 大型语言模型 (LLM) 处理和改写用户提示信息,以及将处理后的提示传递给扩散模型。这种独特的方法使 Recraft 能够处理复杂的查询,并生成更准确、更能感知上下文的图像。 不过也带来了一个潜在的漏洞。 通过仔细实验,研究人员发现某些提示可以诱使系统泄露部分内部指令。 通过生成带有特定提示的多个图像,研究人员能够拼凑出用于指导大模型行为的系统提示片段。 一些泄露的说明包括:以 “法师风格 “或 “形象风格 “开始描述、提供物体和人物的详细描述、将说明转化为描述性句子、包括具体的构图细节、避免使用 “太阳 “或 “阳光 “等词语、必要时将非英语文本翻译成英语。 这种无意中泄露系统提示的行为引起了人们对人工智能模型的安全性和隐私性的极大关注。 如果恶意行为者能够提取敏感指令,他们就有可能操纵系统、绕过安全措施或深入了解专有的人工智能技术。 这一事件为 AI 开发人员和研究人员敲响了警钟,随着 AI 不断进步并更深入地融入我们生活的各个方面,确保这些系统的安全性和完整性变得至关重要。 转自Freebuf,原文链接:https://www.freebuf.com/news/415336.html 封面来源于网络,如有侵权请联系删除
ModeLeak 漏洞:研究人员在 Google Vertex AI 中发现权限提升和模型泄露威胁
在最近的一份报告中,Palo Alto Networks 的研究人员披露了谷歌 Vertex AI 平台中的两个关键漏洞,这些漏洞可能使组织面临严重的安全风险。这些漏洞被称为 “ModeLeak”,可实现权限升级和模型外渗,可能允许攻击者访问 Vertex AI 环境中的敏感机器学习(ML)和大型语言模型(LLM)数据。 第一个漏洞是通过 Vertex AI 中的自定义作业进行权限升级。通过利用 Vertex AI Pipelines 中的自定义作业权限,攻击者可以访问整个项目的数据。报告指出:“通过操纵自定义作业管道,我们发现了一个权限升级路径,它允许我们访问远远超出预期范围的资源。这种访问权限包括从 Google 云存储和 BigQuery 数据集中列出、读取和导出数据的能力–这些操作通常需要更高级别的授权。” 通过自定义代码注入,研究人员演示了攻击者如何注入命令以打开反向 shell,从而在环境中创建后门。这一漏洞源于授予服务代理的默认权限,研究人员发现该权限过于宽泛。“凭借服务代理的身份,我们可以列出、读取甚至导出我们本不应该访问的数据桶和数据集中的数据。” 第二个漏洞带来了更为隐蔽的威胁:通过恶意模型进行模型外渗。恶意行为者可以将中毒模型上传到公共存储库,一旦部署,就会渗透到环境中的其他敏感模型。“想象一下恶意行为者将中毒模型上传到公共模型库的情景,”报告解释道。“一旦部署,恶意模型就会渗透到项目中的所有其他 ML 和 LLM 模型,包括敏感的微调模型。”这种情况创建了一个模型到模型的感染途径,嵌入在微调适配器中的专有信息可被攻击者复制和外渗。 Palo Alto Networks 此后与谷歌分享了这些发现,谷歌已部署了修复程序,以确保谷歌云平台(GCP)上 Vertex AI 的安全。为了抵御类似威胁,Palo Alto Networks 建议企业实施严格的访问控制,并密切监控模型部署流程。报告警告说,如果这些漏洞被威胁行为者利用,特别是在敏感数据驱动模型训练和调整的环境中,可能会造成广泛的后果。 转自Freebuf,原文链接:https://www.anquanke.com/post/id/301816 封面来源于网络,如有侵权请联系删除
美国证券交易委员会与贸易公司达成和解,称其利用人工智能“流行语”欺骗投资者
美国证券交易委员会(SEC)已与一家交易公司达成和解,该公司涉嫌在声称使用人工智能(AI)进行加密货币和其他资产的自动交易方面向投资者撒谎。 美国证券交易委员会(SEC)周四表示,投资公司 Rimar LLC 和 Rimar USA 的所有者兼首席执行官伊泰-利普兹(Itai Liptz)和 Rimar USA 董事会成员克利福德-博罗(Cliffard Boro)声称可以使用人工智能交易加密货币、股票、债券和其他投资,从而从 45 名投资者手中筹集了近 400 万美元。 但实际上,该公司并没有使用人工智能,美国证券交易委员会称,使用新兴技术的说法只是用来愚弄投资者的 “流行语”,该机构称之为 “人工智能洗盘”。 总部位于加利福尼亚州伯林格姆的 Rimar USA 同意和解指控,并支付总额 31 万美元的民事罚款,但不承认或否认监管机构的调查结果。 美国证券交易委员会资产管理部门联席主管安德鲁-迪恩(Andrew Dean)在周四的一份新闻稿中说:“利普兹通过他控制的实体,以多种捏造的事实,包括有关最新人工智能技术的流行语,引诱投资者和客户。” 诉讼还称,尽管 Rimar 声称拥有 “一个人工智能驱动的平台,用于交易股票和加密资产等产品”,但实际上它 “在集资时根本没有交易应用,也从未有过股票或加密资产交易平台”。 美国证券交易委员会表示,Liptz 同意支付总额为 213611 美元的罚没款和预审利息,支付 25 万美元的民事罚款,并被禁止投资公司和结社。同时,Boro 同意支付 60,000 美元的民事罚款,Rimar LLC 同意接受谴责。 华尔街监督机构美国证券交易委员会今年 1 月警告公众,一些 “不良行为者可能会使用朗朗上口的人工智能相关流行语 ”来欺骗潜在投资者。 转自安全客,原文链接:https://www.anquanke.com/post/id/300747 封面来源于网络,如有侵权请联系删除
因配置不当,约 5000 个 AI 模型与训练数据集在公网暴露
图片来源:安全内参 一名安全研究人员透露,数千个机器学习工具已暴露在开放的互联网中,其中一些还属于大型科技公司。任何人都能访问这些工具,并存在敏感数据泄露的潜在风险。 这则消息表明,尽管公司和研究人员在人工智能研究上突飞猛进,但保护这些工具,仍需要依赖适用于其他类型账号的通用账号安全和身份验证最佳实践。 Reddit的安全研究人员兼首席安全工程师Charan Akiri在其研究报告中指出:“除了机器学习(ML)模型本身,暴露的数据还可能包括训练数据集、超参数,甚至有时是用于构建模型的原始数据。” 暴露的工具包括MLflow、Kubeflow和TensorBoard实例。这些工具通常用于帮助企业在云端训练和部署生成式AI模型,或可视化其结果。 Akiri在研究报告中写道:“这种配置错误使得未经授权的人员能够访问、下载,甚至运行敏感的机器学习模型和数据集。这类暴露事件本不应发生,因为这些平台应该仅限于内部使用。” Akiri指出,他们已经能够识别出部分暴露实例的所有者,但他强调,“这只是整体暴露的一小部分,实际上可能还有许多公司尚未被我们识别出来。” 其中一家公司是日本的半导体制造商瑞萨电子(Renesas Electronics)。Akiri表示,通过控制面板证书中的线索,他们确认了一个机器学习工具属于瑞萨电子。外媒404 Media联系瑞萨电子请求对此事发表评论后,瑞萨电子立即撤下了暴露的控制面板,Akiri也通知了该公司这一问题。然而,瑞萨电子最终未对评论请求作出回应。 404 Media在访问几个可以通过开放互联网找到的MLFlow实例时,发现控制面板提供了创建“新运行”的选项。用户还能查看之前的实验记录,通常还能够执行与原用户相同或类似的任务。Akiri表示,他们发现了大约5000个暴露的MLFlow实例。 参考资料:https://www.404media.co/thousands-of-internal-ai-training-datasets-tools-exposed-to-anyone-on-the-internet/ 转自安全内参,原文链接:https://www.secrss.com/articles/71040 封面来源于网络,如有侵权请联系删除
OpenAI 阻止了 20 个使用人工智能进行网络犯罪和虚假信息传播的全球恶意活动
本周三,OpenAI方表示,自今年年初以来,它已经成功干扰了全球20多个,试图将其平台用于恶意运营和欺诈的网络活动。 它们主要采取了:调试恶意软件,为网站撰写文章,为社交媒体帐户生成传记,以及为X上的假帐户创建人工智能生成的个人资料图片的举措。 这家人工智能(AI)公司表示:“威胁者不断进化并持续使用我们的模型,但我们并未发觉其创建实质性新恶意软件或建立病毒受众的能力有真正意义上的突破。” 除此之外,OpenAI方还表示,它扰乱了在美国、卢旺达的选举以及较小程度上与印度和欧盟相关的社媒活动。这些网络都没有吸引到病毒式的参与或持续的受众。 这包括一家名为STOIC(也称为Zero Zeno)的以色列商业公司所做的努力,正如Meta和OpenAI今年5月初披露的那样,该公司在社交媒体上发表了关于印度选举的评论。 OpenAI强调的一些网络操作如下: SweetSpecter,疑似是以中国为基地的对手,利用OpenAI的服务进行LLM知情的侦察、漏洞研究、脚本支持、异常检测规避和开发。还观察到,它对OpenAI员工进行了失败的鱼叉式网络钓鱼的企图,以提供SugarGh0st RAT。 Cyber Av3ngers是隶属于伊朗伊斯兰革命卫队(IRGC)的团体,使用其模型对可编程逻辑控制器进行研究。 Storm-0817,来自伊朗的威胁者,使用其模型进行调试,能够收集包含敏感信息的Android恶意软件,通过Selenium抓取Instagram个人资料,并将LinkedIn个人资料翻译成波斯语。 该公司表示,在其他领域,它也采取了各种措施来阻止多个集群,包括代号为A2Z和Stop News的操作。这些帐户生成了英语和法语内容,以便日后在各类网站和社交媒体帐户上发布。 研究人员Ben Nimmo和Michael Flossman说:“[Stop News]在图像使用方面异常丰富。其许多网络文章和推文都附有DALL·E生成的图像。这些图像通常是卡通风格,以明亮的调色板或戏剧性的色调来吸引注意力。” 经OpenAI Bet Bot和Corrupt Comment识别发现,其网络使用API在X上与用户生成对话,并向他们发送赌博网站的链接,以及在X上制造评论。 近两个月前,OpenAI禁止了一组与伊朗Storm-2035秘密行动有关的账户,该行动利用ChatGPT生成内容,这些内容主要关注即将到来的美国总统大选。 Nimmo和Flossman写道:“威胁者对我们模型的使用主要在活动中期——即在他们获得了互联网接入、电子邮件地址和社交媒体帐户等基本工具之后,以及在他们通过一系列分销渠道在互联网上部署社交媒体帖子或恶意软件等‘成品’之前。” 在网络安全公司Sophos上周发布的一份报告中显示: 生成性人工智能可能会被滥用,通过微目标电子邮件传播量身定制的错误信息。 这意味着滥用人工智能模型来编造政治竞选网站、生成政治人物角色,以及根据竞选要点针对性发布电子邮件,从而实现了新的自动化水平,使大规模传播错误信息成为可能。 研究人员Ben Gelman和Adarsh Kyadige表示:“这意味着用户可以通过简易的配置生成任何内容,从良性的竞选材料到错误信息和恶意威胁不等。” 错误信息的影响会使受众与本不支持的候选人结盟,或与他们自认喜欢的候选人意见相左。 消息来源:The Hacker News,译者:XX; 本文由 HackerNews.cc 翻译整理,封面来源于网络; 转载请注明“转自 HackerNews.cc”并附上原文