谷歌DeepMind部门近日开展了业界首个针对AI技术恶意用途的研究，发现人工智能生成的“深度伪造”在模仿政治人物和名人方面远比用于网络攻击的AI应用更为普遍。 研究指出，生成逼真的伪造人物图像、视频和音频的行为几乎是利用基于文本的工具（如聊天机器人）生成并在线发布虚假信息的两倍。 DeepMind与谷歌研发部门Jigsaw共同进行的分析显示（下图），滥用生成式AI的最常见目的是塑造或影响公众舆论，占所有滥用行为的27%。这加剧了人们对深度伪造可能在今年全球选举中影响选民的担忧。 最常见的AI恶意应用数据 来源：Deepmind 最近几个月，英国首相里希·苏纳克以及其他全球领导人的深度伪造视频已在TikTok、X和Instagram上出现。下周，英国选民将进行大选投票。 尽管社交媒体平台努力标记或删除此类内容，但人们担心观众可能无法识别这些内容是伪造的，其传播可能会影响选民的决定。 艾伦图灵研究所的研究员阿尔迪·简杰瓦表示，研究发现，AI生成内容污染公共信息，可能“扭曲人们对社会政治现实的集体理解，且这种扭曲在短期内可能难以察觉，会对我们的民主构成长期风险。” 是谷歌AI部门DeepMind由德米斯·哈萨比斯爵士领导的首次此类研究，旨在量化生成式AI工具的使用风险。全球最大的科技公司正在争相向公众推出这些工具，以追求巨额利润。 随着OpenAI的ChatGPT和谷歌的Gemini等生成产品的广泛应用，AI公司开始监控由其工具创建的大量错误信息和其他潜在有害或不道德的内容。 今年5月，OpenAI发布研究，宣称与俄罗斯、伊朗和以色列等国相关的黑客行动正操作使用其工具创建并传播虚假信息。 谷歌DeepMind和Jigsaw的研究人员分析了2023年1月至2024年3月间观察到的大约200起滥用事件，这些事件来自X和Reddit等社交媒体平台，以及在线博客和媒体报道。 研究发现，滥用生成式AI的第二大动机是赚钱，无论是提供生成深度伪造服务，包括生成真实人物的裸照，还是使用生成式AI创建大量内容，如虚假新闻文章。 研究发现，大多数事件使用了易于访问的工具，“仅需最低限度的技术专长”，极低的使用门槛意味着更多的恶意行为者可以滥用生成式AI。 谷歌DeepMind的研究将影响其如何改进评估，以测试模型的安全性，并希望这也将影响其竞争对手和其他利益相关者对“危害显现”方式的看法。   转自GoUpSec，原文链接：https://mp.weixin.qq.com/s/aBSTfriqMDVFxrgl4_7tPg 封面来源于网络，如有侵权请联系删除

Meta宣布，它正在推迟使用成年人在 Facebook 和 Instagram 上分享的公共内容训练其大型语言模型 (LLM)，以响应爱尔兰数据保护委员会 (DPC) 的要求。 “DPC 欢迎 Meta 暂停使用欧盟/欧洲经济区成年人在 Facebook 和 Instagram 上分享的公共内容训练其大型语言模型的决定。这一决定是在 DPC 和 Meta 密切接触之后做出的。”DPC 的请求中写道。“DPC 将与其他欧盟数据保护机构合作，继续就这一问题与 Meta 进行接触。” Meta 则在声明中表示：“我们对爱尔兰数据保护委员会 (DPC) 的请求感到失望，该委员会是我们的首要监管机构，代表欧洲数据保护机构 (DPA) 推迟使用成年人在 Facebook 和 Instagram 上分享的公开内容来训练我们的大型语言模型 (LLM)——特别是因为我们采纳了监管反馈，并且自 3 月以来欧洲数据保护机构就已获悉此事。”“这对欧洲创新、人工智能开发竞争而言是倒退的一步，也进一步推迟了人工智能为欧洲人民带来的好处。” 该公司解释说，其人工智能，包括 Llama LLM，已经在世界其他地区投入使用。Meta 解释道，为了向其欧洲社区提供更好的服务，它需要根据相关信息来训练模型，这些信息反映了欧洲人民的不同语言、地理和文化背景。出于这个原因，该公司最初计划使用其在欧盟的欧洲用户在其产品和服务上公开声明的内容来训练其大型语言模型。 Meta 打算在6月26日实施这些更改，让用户可以通过提交请求选择退出数据使用。 “我们仍然非常有信心，我们的方法符合欧洲法律法规。人工智能培训并不是我们服务所独有的，而且我们比许多行业同行更透明。”声明继续说道。 “我们致力于将 Meta AI 及其驱动模型带给世界各地更多人，包括欧洲人。但简单地说，如果不包括本地信息，我们只能为人们提供二流的体验。这意味着我们目前无法在欧洲推出 Meta AI。” Meta 补充道，延迟将使其能够在开始培训之前处理英国信息专员办公室 (ICO) 的请求。   转自e安全，原文链接：https://mp.weixin.qq.com/s/8UFLQYuoWEaVcPMEX-CeqA 封面来源于网络，如有侵权请联系删除

F5 数据显示，虽然 75% 的企业正在实施 AI，但 72% 的企业指出其存在数据质量问题以及无法扩展数据实践。 人工智能技术作为一种颠覆性的“力量”，助力企业能够创造出更新的、无与伦比的数字体验。然而，实施人工智能的实际情况却异常复杂，如果没有正确、安全的方法，就会大大增加企业的风险态势。目前，许多企业急于利用人工智能，却忽视了自身需要坚实基础的必要性，这种疏忽不仅会降低人工智能解决方案的有效性，还会使其面临多种安全威胁。 企业对生成式人工智能充满“热情” 在企业构建新的堆栈以支持不断扩大的人工智能驱动的数字服务时，必须时刻强调企业在基础设施、数据、模型、应用服务和应用层所面临的挑战，这些挑战是企业想要广泛、可扩展以及长久采用人工智能所必须克服的。 同时，研究表明企业对生成式人工智能技术是否会助力企业业务发展，非常乐观，充满热情，很多受访者将生成式人工智能技术评为 2024 年最令人兴奋的技术趋势。但非常有意思的是，只有 24% 的企业表示已经大规模实施了生成式人工智能。 目前，生成式人工智能技术的应用呈上升趋势，但最常见的用例往往不具备“战略”功能。很多受访者表示，其公司内部已经部署的最常见用例包括协同机器人和其他员工生产力工具（40% 的受访者正在使用）以及聊天机器人等客户服务工具（36%）。 数据“成熟度”是实施人工智能面临的巨大挑战 调查过程中，企业领导者研究大规模部署基于人工智能的应用所面临的挑战时，着重提到了在基础设施层遇到的三个主要问题： 62% 的人认为计算成本是扩展人工智能的主要问题： 57% 的人认为模型安全性是主要问题，为解决这一问题，企业领导者预计，随着部署规模的扩大，未来几年在安全方面的支出将增加 44% ： 55% 的受访者认为模型各方面的性能是一个问题。 在数据层，数据成熟度是影响人工智能广泛实施的一个更为直接和潜在的巨大挑战。其中，72% 的受访者认为数据质量和无法扩展数据实践是扩展人工智能的最大障碍，53% 的受访者认为缺乏人工智能和数据技能是主要障碍。 值得一提的是，尽管 53% 的企业表示他们已制定了明确的数据战略，但超过 77% 的受访企业表示他们缺乏数据的单一真实来源。 人工智能驱动的攻击、数据隐私、数据泄露等因素都是人工智能安全的首要问题，网络安全一直是人工智能技术服务提供商的主要担忧。当问及计划如何抵御人工智能技术带来的威胁，以确保人工智能实施的安全时，受访者将重点主要放在应用程序接口安全、监控、DDoS 保护等应用程序服务上。 42% 的受访者表示，公司内部正在使用或计划使用 API 安全解决方案来保护数据在人工智能训练模型中的安全，41% 的受访者正在使用或计划使用监控工具来了解人工智能应用程序的使用情况，39% 的受访者正在使用或计划使用 DDoS 保护来保护人工智能模型。   转自Freebuf，原文链接：https://www.freebuf.com/news/403906.html 封面来源于网络，如有侵权请联系删除

随着掌管数字生活入口的万亿美元俱乐部企业——苹果公司跳入人工智能（AI）赛道，AI技术民主化的大幕正式拉开，同时也将AI安全问题推向舆论的风口浪尖。根据瑞银本周一的智能手机调查报告，在中国以外的智能手机用户中，只有27%的人对提供生成式AI功能的设备感兴趣，价格和隐私才是用户最关心的问题。显然，用户最关心的不是AI带来的效率和体验，而是隐私和AI安全的新威胁。 AI面临的头号威胁：投毒攻击 近日，美国国家标准与技术研究院（NIST）发出警告称，随着人工智能技术的快速普及，越来越多的黑客将发起“投毒攻击”，AI应用的安全性将面临严峻考验。投毒攻击是针对人工智能（AI）系统的一种恶意行为，黑客通过操纵输入数据或直接修改模型来影响AI系统的输出。 过去，业界针对AI系统的“投毒攻击”并不重视，软件公司Splunk曾在《2024年安全状态报告》指出：“AI中毒仍然是一种可能性，但尚未普及。” 但是安全专家们警告CISO加强戒备，因为有迹象表明黑客正越来越多地瞄准AI系统，尤其是通过破坏数据或模型来进行投毒攻击，各种规模和类型的企业都可能成为攻击目标。 咨询公司Protiviti透露，该公司的一家客户企业近日遭遇了投毒攻击：黑客试图通过投喂恶意输入数据来操纵该公司AI系统的输出结果。 Protiviti指出：“所有企业，无论是内部开发的AI模型还是使用第三方AI工具，都面临投毒攻击风险。” 四种主要的投毒攻击 NIST在2024年1月的一份报告中强调了投毒攻击的危险性：“中毒攻击非常强大，可导致AI系统的可用性或完整性受到破坏。” NIST将投毒攻击划分为以下四大类型： 可用性投毒：无差别地影响整个机器学习模型，相当于针对AI系统的拒绝服务攻击。 目标投毒：黑客在少数目标样本上诱导机器学习模型产生错误的预测结果。 后门投毒：通过在训练时在一部分图像中添加小的触发补丁并更改其标签，可以影响图像分类器，以在实际使用时激活错误行为。 模型投毒：直接修改训练后的机器学习模型以注入恶意功能，使其在特定情况下表现异常。 NIST和安全专家指出，除了中毒攻击，AI系统还面临隐私泄露以及直接和间接提示注入等多种攻击。 NIST研究团队主管ApostolVassilev表示：“企业部署AI会引入全新的攻击面，我们已经看到了学术界和其他研究人员展示的漏洞利用。随着AI技术的普及，黑客攻击的价值也随之增加，这也是为什么我们会看到更严重的漏洞利用，我们已经看到相关案例的增加。” AI投毒攻击可来自内部或外部 安全专家表示，中毒攻击既可能由内部人员发起，也可能由外部黑客发起，这与传统的网络攻击类似。FTIConsulting管理董事DavidYoussef表示，国家级黑客可能是最大的风险之一，因为他们有能力和资源投资于这类攻击。 专家指出，黑客发起AI投毒攻击的动机与传统网络攻击类似，例如为了造成破坏或损失，以及获取机密数据或勒索金钱。 主要目标：AI厂商 虽然任何使用AI的企业和机构都可能成为受害者，但IEEE高级成员和Hyperproof的CISOKayneMcGladrey表示，黑客更有可能瞄准制造和训练AI系统的科技公司。最近的一个案例暴露了AI技术供应链上游的潜在巨大风险。科技公司JFrog的研究人员发现，约有100个恶意机器学习模型被上传到公开的AI模型库HuggingFace。 研究人员指出，这些恶意模型可能允许攻击者在加载模型时向用户机器注入恶意代码，可能会迅速破坏大量用户环境。 CISO应该怎么做？ 根据ISC2今年2月份的调查，很多CISO并未做好应对AI风险的准备。报告发现，超过1100名受访者中，75％表示中度至极度担心人工智能会被用于网络攻击或其他恶意活动，其中深度伪造、虚假信息和社会工程是网络专业人士最担心的三大问题。尽管人们对此高度担忧，但只有60%的人表示，他们有信心带领组织安全采用AI。此外，41%的人表示，他们在保护AI和ML技术方面几乎没有或根本没有专业知识。与此同时，只有27%的人表示，他们的组织制定了有关AI安全和道德使用的正式政策。 ISC2首席信息安全官JonFrance表示：“一般的CISO并不擅长AI开发，也没有将AI技能作为核心竞争力。” 安全专家建议，防御投毒攻击需要采用多层防御策略，包括强大的访问和身份管理程序、安全信息和事件管理（SIEM）系统以及异常检测工具。此外，还需要良好的数据治理实践以及对AI工具的监控和监督。 NIST在《对抗性机器学习》报告中也提供了详细的缓解策略和关于投毒攻击的详细信息。 最后，一些安全领导者强烈建议CISO在团队中增加接受过AI安全培训的专业人才（普通SOC团队无法评估训练数据集和AI模型），并与其他高管合作，识别和理解与AI工具相关的风险（包括中毒攻击），制定风险缓解策略。   转自GoUpSec，原文链接：https://mp.weixin.qq.com/s/sFHZwhoflRVy6zw5M1Vhkw 封面来源于网络，如有侵权请联系删除

英国承诺投入 850 万英镑资助旨在应对包括深度伪造在内的网络威胁的新型人工智能安全研究。技术部长米歇尔·多尼兰 (Michelle Donelan) 在人工智能首尔峰会上宣布，研究资助将重点关注“系统性人工智能安全”，即了解如何更好地保护社会免受人工智能风险并利用该技术的优势。 该研究项目将由英国政府人工智能安全研究所的研究员 Shahar Avin 领导，并与英国研究与创新局和阿兰图灵研究所合作开展。虽然申请人必须居住在英国，但鼓励他们与世界各地人工智能安全研究所的其他研究人员合作。 人工智能对经济和社会稳定构成双重威胁。一方面，人工智能系统可能成为即时注入和数据中毒等技术的目标；另一方面，黑客自己也可以利用该技术来获取优势。 英国国家网络安全中心 (NCSC)一月份警告称 ，恶意人工智能的使用“几乎肯定”会导致未来两年网络攻击的数量和影响增加，特别是勒索软件。 事实上，合规专家 ISMS.online本周发布的新研究显示，30% 的信息安全专业人士在过去 12 个月中经历过与深度伪造相关的事件，这是继“恶意软件感染”之后第二受欢迎的答案。 与此同时，四分之三（76%）的受访者声称人工智能技术正在改善信息安全，64%的受访者表示他们将在未来一年相应增加预算。 人工智能安全研究所研究主任克里斯托弗·萨默菲尔德 (Christopher Summerfield) 声称，新资金代表着确保人工智能在社会中安全部署的“重要一步”。 他补充道：“我们需要仔细思考如何调整我们的基础设施和系统，以适应人工智能融入我们所做的一切的新世界。” “这个计划旨在产生大量关于如何解决这个问题的想法，并帮助确保伟大的想法能够付诸实践。” 该研究所已经对人工智能威胁进行了有价值的研究。周一发布的 5 月份更新显示，四个最常用的生成式人工智能聊天机器人很容易受到基本越狱尝试的攻击。 英国和韩国昨天称赞 16 家主要人工智能公司签署了安全开发人工智能模型的新承诺，这是“历史性的第一次”。   转自E安全，原文链接：https://mp.weixin.qq.com/s/TjnGpzPchxF-LgzUKZKqBA 封面来源于网络，如有侵权请联系删除

5月21日—22日，第二届人工智能安全峰会正在韩国首尔举行，会议就人工智能的安全性保障、促进创新和包容性未来引领方案等展开讨论。而在此之前，《科学》杂志于5月20日发表了一篇专家论文，呼吁世界各国领导人采取紧急行动应对风险，包括建立监督机构和具有法律约束力的法规。 该论文由25位来自美国、中国、欧盟、英国等主要人工智能大国专家联合攥写。专家们表示，世界各国政府应该建立一个触发系统，如果人工智能进展过快，就会自动执行严格的要求，如果发展较慢，则会采取相对宽松的要求。 就目前而言，专家们认为对人工智能安全的研究“严重缺乏”，估计只有1-3%的人工智能出版物与安全有关，如果不采取适当的保障措施，人工智能的影响可能是灾难性的。“为了推进不良目的，人工智能系统可以获得人类的信任、获取资源并影响决策者。为了避免人类干预，它们可能会在全球服务器网络中复制自己的算法，”论文写道。 大规模的网络犯罪、社会操纵和其他危害可能会迅速升级，而在公开冲突中，人工智能系统可能会自主部署各种武器，包括生物武器。 论文指出，人工智能系统获得此类技术只会延续现有的军事活动自动化趋势。在公司、政府和军队进一步推动 “效率 “的过程中，影响力也可能被随意交给人工智能。 对此，专家们警告说：”人工智能的无节制发展很有可能最终导致生命和生物圈的大规模丧失，以及人类的边缘化或灭绝。” 本次首尔会议将延续去年在英国布莱切利公园举行的首届人工智能安全峰会的主题。会议旨在达成新的监管协议，但专家们表示，进展还不够快。 论文作者之一、牛津大学计算机科学系博士简·布劳纳指出，太空飞行、核武器和互联网等技术在短短几年内就从科幻变成了现实。人工智能也不例外。 “我们现在必须为那些看似科幻的风险做好准备，比如人工智能系统入侵重要网络和基础设施、人工智能大规模政治操纵、人工智能机器人士兵和完全自主的杀手无人机，甚至人工智能能够超越我们并躲避试图关闭它所采取的举措，“布劳纳说道。   转自FreeBuf，原文链接：https://www.freebuf.com/news/401573.html 封面来源于网络，如有侵权请联系删除

美国联邦通信委员会 (FCC) 已将其首个官方指定的机器人电话黑客命名为“Royal Tiger”，此举旨在帮助国际合作伙伴和执法部门更轻松地追踪重复机器人电话活动背后的个人和实体。 Royal Tiger 是一群来自印度、英国、阿拉伯联合酋长国和美国的不良分子，他们使用欺骗性电话号码冒充政府机构、银行和公用事业公司拨打自动电话，并拨打虚假信用卡利率。减价优惠。据称，由 Jashvantlal Anand 王子及其同伙 Kaushal Bhavsar 领导的 Royal Tiger 集团正在美国经营多个与非法电话有关的实体，包括 VoIP 公司 Illum T communications Limited (Illum)、PZ T communications LLC (PZ Telecom) 和 One眼睛有限责任公司（一只眼睛）。 他们将美国境内的自动骚扰电话转接到总部位于德克萨斯州的 Great Choice Telecom 公司，此前该公司曾因拨打非法欺骗性自动骚扰电话而被联邦通信委员会 (FCC) 和联邦贸易委员会 (FTC) 处以 2.25 亿美元的没收令和勒令停止函。 “无论垃圾电话最初来自何处，旨在欺骗或伤害消费者的垃圾电话都需要终止。我们将继续寻找新的方法来打击这些非法诈骗，” FCC 主席杰西卡·罗森沃塞尔 (Jessica Rosenworcel)表示。 “当我们发现屡犯者时，我们将确保继续使用我们所拥有的一切工具来阻止这些垃圾到达消费者并对其造成伤害。” 这个新的 FCC robocall 不良行为者分类系统被称为消费者通信信息服务威胁 (C-CIST) [ PDF ]，旨在帮助州、联邦和国际监管机构和执法实体识别和跟踪滥用电信的黑客基础设施，并对其采取适当行动。 FCC 表示，新的指定还使其能够利用其全部权力来阻止这些威胁组织进入美国电信领域并针对消费者。 虽然潜在的执法行动可能包括停止函、从 Robocall 缓解数据库中删除以及没收令，但 FCC 采取的最终行动将取决于当事人及其违法行为。 今天的行动以执法局的“春季大扫除”举措为基础，该举措于四月开始，针对虚假税收减免计划背后的机器人来电者增加了目标。 FCC在周一发布的公告中补充道：“执法部门、行业利益相关者和消费者应将 Royal Tiger 视为对通信信息服务的潜在威胁。” “如果您怀疑与 Royal Tiger 有关的个人或实体违反了 1934 年通信法（修订版）或委员会的规则，请发送电子邮件至 CCIST@fcc.gov 通知 FCC。” 去年，美国联邦贸易委员会 (FTC) 收到 853,935 起冒名顶替诈骗的报告，报告损失总额近 27 亿美元。 冒名顶替诈骗也是 2023 年军事人员报告的最常见欺诈行为，造成总损失 1.78 亿美元。此外，联邦贸易委员会 (FTC) 于 2022 年指出，老年人因政府冒充诈骗而遭受重大损失，损失总额约为 1.86 亿美元。   转自E安全，原文链接：https://mp.weixin.qq.com/s/_DBq-GGDo4ZmGczs-IEbgQ 封面来源于网络，如有侵权请联系删除

网络安全专业人员在确保人工智能工具安全方面责无旁贷，确保这些技术仅用于社会公益，这是 RSA 2024 大会发出的强烈信息。 人工智能在现实世界中大有可为，例如可以更快、更准确地诊断健康状况。然而，随着人工智能的创新和应用步伐以前所未有的速度加快，许多人呼吁必须及早建立安全防护措施，以确保人工智能发挥其巨大潜力。 在这一过程中，必须考虑到隐私和公平等概念。 微软负责安全、合规、身份和管理的副总裁 Vasu Jakkal 强调说：”我们有责任在人工智能快速发展的时代探索创造一个安全可靠的空间。“ 另外，人工智能安全中心创始人 Dan Hendrycks 表示，人工智能存在着巨大的风险，鉴于其在物理世界中日益增长的影响力和潜力，这些风险既是社会性的，也是技术性的。也就是说，人工智能的安全保护是一个更广泛的社会技术问题，而不仅仅是技术问题。 哈佛大学肯尼迪学院安全技术专家、研究员兼讲师 Bruce Schneier 指出，现在，人工智能安全和我们的安全紧密相连，因此我们必须更广泛地思考这些问题。 对人工智能完整性的威胁 员工正在利用 ChatGPT 等公开可用的生成式人工智能工具开展工作，Presidio 公司的 CISO Dan Lohrmann 将这种现象称为 “自带人工智能”。 Secureworks 的首席技术官 Mike Aiello 认为，这与 SASE 服务刚出现时的情况类似，当时企业中的许多员工都订阅了这些服务。现在，企业在使用人工智能方面也面临同样的情况，比如注册 ChatGPT，对于企业来说已经有点不受控制。 这种趋势给企业带来了许多安全和隐私方面的问题，比如敏感的公司数据被输入到这些模型中，可能会导致信息公开。 其他问题也威胁着人工智能工具输出结果的完整性。这些问题包括数据中毒，即通过改变模型所训练的数据无意或有意地改变模型的行为；以及提示注入攻击，即操纵人工智能模型执行非预期的操作。 这些问题有可能破坏人们对人工智能技术的信任，造成模糊、偏见和歧视等问题。反过来看，这将限制人工智能技术的应用和解决重大社会问题的潜力。 人工智能是一项治理问题 在 RSA 大会上发言的专家们主张，企业应像对待其他需要确保安全的应用程序一样对待人工智能工具。 谷歌安全工程副总裁 Heather Adkins 指出，从本质上讲，人工智能系统和其他应用程序一样，都有输入和输出，过去 30 年里开发的很多技术在这里也同样适用。 Jakkal 认为，确保人工智能系统安全的核心是建立一个强大的风险管理治理体系。她阐述了微软在这方面的三大支柱： 发现： 了解环境中使用了哪些人工智能工具，以及员工是如何使用它们的 保护： 降低整个系统的风险，并加以实施 治理： 遵守监管和行为准则政策，培训员工安全使用人工智能工具 Lohrmann 强调，企业要采取的第一步是让员工了解人工智能的使用情况，在采取行动之前，必须知道发生了什么。 Secureworks 的 Aiello 还主张，在将工作委托给人工智能模型时，员工应该保持高度参与。他解释说，公司使用工具进行数据分析，析师也要检查这些数据，并在出现模糊等问题时提供反馈。 结论 目前，我们还处于了解人工智能对社会真正影响的早期阶段。要发掘人工智能的巨大潜力，这些保护系统必须具备强大的安全性，否则可能面临跨组织和跨国家的限制甚至禁令。 如今，企业仍在努力应对工作场所生成式人工智能工具的激增，必须迅速制定能够安全可靠地管理这种使用的政策和工具，而网络安全行业对这一问题的处理方式很可能会对人工智能未来的角色产生重大影响。   转自FreeBuf，原文链接：https://www.freebuf.com/news/400461.html 封面来源于网络，如有侵权请联系删除

Netacea 公司发布预警，93% 的企业网络安全负责人预计每天都会面临人工智能驱动的网络攻击，网络犯罪分子正在利用人工智能技术，策划更复杂、更智能化、更具威胁的网络攻击活动，智能化工具正迅速成为网络犯罪分子的惯用技俩。 人工智能技术自成熟以来就被网络犯罪分子盯上了，作为一种强大技术手段，威胁攻击者可以利用其构造出更复杂的网络攻击策略，从而规避受害者的网络防御检测机制，窃密敏感数据信息。 人工智能技术成为威胁攻击者的新“助力” 研究人员针对英国、美国等国的企业网络安全负责人，进行了一项有关“人工智能技术应用于网络攻击”的研究调查。结果显示，大多数安全负责人预计每天都会发生由人工智能驱动的网络攻击活动，甚至 65% 的受访者预计攻击性人工智能将成为网络犯罪分子最常用的手段，用于大多数网络攻击中。 此外，安全负责人还着重强调了进攻性人工智能的重要性。 由于时间紧迫，并且背负着保护其组织免受已知网络安全威胁以及潜在安全威胁，安全负责人必须确保企业董事会成员能够意识到进攻性人工智能可能带来的威胁。 在众多受访者中，有 11% 的安全负责人认为爬虫攻击是其业务面临的最大网络威胁，仅次于勒索软件、网络钓鱼和恶意软件（ Netacea 研究发现，对于大型企业来说，机器人攻击可能会导致其损失了 4.3% 的经营收入，这一数字相当于遭受了 50 次勒索软件要支付的赎金）。 人工智能技术改变了网络防御态势以及攻击方法 人工智能技术在被用作构造更具智能化的网络攻击工具的同时，也被用于网络防御。Netacea 调查的所有受访者都以某种方式将人工智能纳入了他们的安全堆栈，所有受访者都表示人工智能改善了他们的安全态势，其中 27% 的受访者表示这种改善非常显著。 人工智能技术在企业网络防御中具有很重要的作用，61% 的安全负责人认为人工智能大大降低了他们的运营开销。 调查表明，人工智能技术只能“赋能”防御高影响、低频率的攻击，例如 DDoS（62%），对于僵尸攻击（33%）起到作用相对较小，这种情况表明，虽然人工智能是一种值得欢迎的网络威胁防御手段，但它尚未得到普遍应用，也未被用于抵御最具破坏性的攻击。 有 90% 的受访者对其 Web 应用防火墙、DDoS 防护和 API 安全的人工智能防御能力充满信心，但只有 60% 的受访者对其僵尸管理工具持同样的看法。 最后，Netacea的 CTO Andy Still 强调，人工智能技术的强大能力和易于获取的特性使其成为攻击和防御的双刃剑，虽然目前许多安全负责人已经意识到了人工智能技术可能带来的潜在安全威胁，但对于这些威胁的来源仍有认识上的差距。   转自Freebuf，原文链接：https://www.freebuf.com/news/399865.html 封面来源于网络，如有侵权请联系删除

科学家们正在研究人工智能对抗人工智能，以识别深度伪造视频。 人工智能生成的内容已经流行了一段时间，但视频生成最近又发展到了新的高度。自二月份发布以来，OpenAI 的 Sora 以其超现实的合成内容而令人惊叹，所有这些内容都是使用文本提示生成的。这就是它让人们相信其真实性的能力，生成内容现在引起了人们对错误信息传播的日益担忧。 德雷克塞尔工程学院的多媒体和信息安全实验室 (MISL) 十多年来一直致力于创造操纵图像的技术。 目前现有的方法对人工智能生成的视频无效。科学家们评估了 11 种可供公众使用的合成图像探测器。这些程序显示出很高的效率，在检测被篡改的图像方面至少有 90% 的准确率。然而，当负责识别公开可用的 AI 生成器生成的视频时，它们的性能下降了 20-30%。 德雷克塞尔工程学院副教授兼 MISL 主任马修·斯塔姆 (Matthew Stamm) 博士在一份报告中表示：“在没有一个好的系统来检测不良行为者制造的假货之前，这种视频技术就已经发布，这真是令人不安。” Stemm 认为，一旦该技术公开，恶意使用就不可避免。“这就是为什么我们正在努力通过开发新技术来从媒体特有的模式和特征中识别合成视频，以保持领先地位。”他补充道。 直到最近，图像处理还依赖于照片和视频编辑程序来改变像素、调整速度或操纵帧。然而，这些编辑留下了数字痕迹，MISL 的科学家已经使用他们的工具套件有效地识别了这些痕迹。 虽然文本到视频生成器不是由相机生成的，也不是由视觉软件编辑的，但它们在检测操纵方面提出了新的挑战。在 MISL 的最新研究中，科学家们决定使用 AI 对抗 AI 来确定生成式 AI 程序如何构建视频。他们成功地训练了一种称为约束神经网络的机器学习算法。 该网络能够在粒度级别上了解合成视频的外观，并将这些知识应用于使用 AI 视频生成器生成的一组新视频，例如Stable Video Diffusion, Video-Crafter, and Cog-Video，以及以前未知的程序。 该算法在识别合成视频和准确识别用于创建视频的程序方面的效率超过 93%。   转自会杀毒的单反狗，原文链接：https://mp.weixin.qq.com/s/naGdbz_1Uj0JPUrc50mSUg 封面来源于网络，如有侵权请联系删除