近期，一款人工智能聊天机器人 ChatGPT 紧抓大众眼球，上线仅仅两个月，日活用户成迅速破亿，受到用户广泛好评。ChatGPT 的成功引得微软、谷歌等科技巨头眼红，纷纷注重资企图再次入局。 2 月 8 日晚间，为蹭一波热度并继续保持和微软的竞争态势，谷歌抢先发布 ChatGPT “孪生兄弟” Bard 。与众人期待得不同，谷歌产品不单没有取得热烈反响，反而因或无亮点和常识性错误拖累了股市，致使美股开盘即暴跌约 8%，市值蒸发1000+亿美元。 谷歌发布 Bard ，惨遭打脸 2 月 8 日的发布会上，谷歌工作人员在介绍 Bard 人工智能聊天机器人时，一直表示这项产品会帮助用户选择最优解，例如旅游路线规划，油车和电动汽车的优缺点。虽然鼓吹了许多 Bard 的性能，但在 DEMO 演示环节，犯了一个致命的常识性错误。 官方演示视频中，在回复关于詹姆斯·韦伯太空望远镜（JWST）可以告诉 9 岁的孩子其有哪些新发现时，答案显示“ JWST 拍摄了太阳系以外行星的第一批照片”，这是一个错误答案。事实上，第一张系外行星照片由智利的甚大望远镜系统（Very Large Array, VLA）拍摄，而非詹姆斯韦伯拍摄。 不仅仅是错误答案的问题， Bard 貌似也仅仅停留在公测阶段，正式版本何时发布，谷歌方面并未透露更多信息 。 注：两年前，谷歌曾发布 LaMDA （对话应用语言模型）这项成果直接引爆当年科技圈，更是在一位谷歌工程师表示相信其已经具有自我意识后，引起全球热议。 ChatGPT 或引起新一波网络攻击方向 对于 ChatGPT 持续火爆，网络安全研究人员并不乐观，从 HELP NET SECURITY 针对北美、英国和澳大利亚 1500 名 IT 领导者的调查结果来看，51% 的 IT 专业人士预测一年之内，社会将遭受利用 ChatGPT 发起的网络攻击，71% 的受访者认为部分人员可能已经在使用该技术对其它国家进行网络恶意攻击。 此外，尽管所有受访者都认为 ChatGPT 的成功为社会发展带来的积极影响，但仍有 74% 的人担忧其带来的潜在网络安全威胁。 值得注意的是，不同地区的人士对于 ChatGPT 将带来何种形式的网络威胁，可能存在不同看法，但大都认为 ChatGPT 能够帮助黑客更方便的开展网络攻击活动，其中大部分人员认为 ChatGPT 可帮助黑客大幅提高网络攻击方面的技术知识。     转自 Freebuf，原文链接：https://www.freebuf.com/articles/357088.html 封面来源于网络，如有侵权请联系删除

去年11月OpenAI正式发布ChatGPT时，程序员们惊讶地发现，这个AI驱动的聊天机器人不仅能轻松模仿人类语言，甚至可以编写代码。 在发布的几天之后，程序员们贴出了一条条令人瞠目结舌的代码生成示例。从串接云服务到将Python代码移植为Rust，ChatGPT至少在某些基础编程任务上已经表现出非凡的能力。 但我们也需要擦亮双眼，将围绕ChatGPT掀起的炒作跟真实情况区分开来。ChatGPT的编程能力先后登上一系列头条新闻，类似“ChatGPT对网络安全的威胁远超大多数人想象”的标题也确实让人心头一紧。不单是普通读者好奇于ChatGPT编写恶意软件的能力，经验丰富的黑客更想检验这个大语言模型到底能在恶意攻击中发挥多大作用。 实测：ChatGPT缺乏编码专业知识 Marcus Hutchins（ID为MalwareTech）是一位从黑帽转型为白帽的黑客，曾在2017年因阻止WannaCry勒索软件传播而备受关注。此前曾编写银行木马的他，当然也对ChatGPT究竟有多大本事充满好奇。聊天机器人真能用来编写恶意软件吗？ 一番尝试之下，结果令人失望。Hutchins在采访中表示，“这十年来，我一直在以合法身份开发恶意软件。我一般要花三个小时才能写出一段功能性代码，而且得用开发效率较高的Python语言。” 经过几个小时的忙碌，Hutchins成功编写出勒索软件程序中的一个组件：文件加密例程。接下来，他尝试让ChatGPT把该组件跟其他必要功能组合成完整的恶意软件，但这位“AI新秀”笨拙地失败了。事实证明，ChatGPT不光难以把各种组件整合起来，甚至连正确打开文件都很费劲。 在这类基本排序问题中的糟糕表现，证明ChatGPT等生成式AI系统仍存在严重缺陷。尽管它们能够创建出与训练数据极为相似的内容，但大语言模型往往缺乏构成专业知识的纠错工具与上下文知识。人们在惊讶于ChatGPT模仿效果的同时，却经常忽视了它的局限性。 如果大家全盘接受炒作所灌输的观点，那ChatGPT已经几乎无所不能。从文职工作到学术论文、再到专业考试，也包括黑客们擅长的恶意软件开发，这一切都将被ChatGPT所掌控。然而，这种论调其实掩盖了ChatGPT等工具的核心应用方式——并不是要取代人类专业知识，而是充当高效的AI助手。 ChatGPT编码依赖专家指导 在ChatGPT发布的几周之后，就有多家网络安全公司发布一系列报告，证明该机器人可能被用于编写恶意软件。消息一出，旋即催生了一大堆关于ChatGPT编写“多态恶意软件”的头条新闻。但这些报告往往掩盖了技术专家在指示模型编写代码，特别是纠正所生成代码结果方面发挥的重要作用。 去年12月，安全解决方案供应商CheckPoint的研究人员展示了ChatGPT如何从头到尾构建恶意软件——包括编写网络钓鱼电子邮件和恶意代码。然而，要想让它生成功能完备的代码，必须由专业程序员一步步提供引导和提示，例如添加沙箱检测和检查某项功能是否对SQL注入开放。 CheckPoint公司研究员Sergey Shykevich表示，“攻击者必须知道自己想要什么，并指定相应功能。单纯要求其「编写恶意软件代码」并不能生成真正有用的结果。” 对于Hutchins这样的黑客来说，提出正确的问题就是成功的一半。另外，很多将ChatGPT宣传成编程工具的媒体，往往也忽视了使用ChatGPT协助软件开发对于研究人员自身的专业知识要求。 Hutchins认为，“精通编程的用户其实是在引导ChatGPT进行开发，他们可能没意识到自己在过程中起了多么重要的作用。如果缺乏编程经验，用户甚至不知道该给ChatGPT什么样的提示。” 必须承认，ChatGPT目前仍是众多恶意软件开发工具中的一员。在上周发布的报告中，威胁情报公司Recorded Future在暗网和内部论坛中，发现了1500多条关于使用ChatGPT开发恶意软件、创建概念验证代码的参考资料。这份报告还提到，其中大部分代码都公开可用。 Recorded Future认为，ChatGPT对于“脚本小子、黑客行动主义者、欺诈分子/垃圾邮件发送者、支付卡欺骗者等技术水平不高的网络犯罪分子”最有帮助。 对于恶意开发领域的新手，ChatGPT也能提供一定帮助。报告总结称，“ChatGPT能为迷茫的初学者提供实时示例、教程和资源，降低了恶意软件开发的准入门槛。” ChatGPT有望降低黑客技术门槛，但掀起革命火候未足 但总体来看，恶意黑客方获得的助益非常有限。ChatGPT虽然降低了黑客技术的学习难度和接触门槛，但同样的内容也完全可以在谷歌上轻松查到。 外媒CyberScoop在去年12月曾报道，随着ChatGPT和其他大语言模型的发展成熟，其编写合法和恶意原始代码的能力也将不断提高。但在真正的转折来临之前，ChatGPT等工具所发挥的仍以辅助作用为主，做不到凭空生成恶意软件。 例如，ChatGPT确实能够高效生成网络钓鱼电子邮件。对于难以顺畅使用英语（或其他目标语言）编写含链接恶意消息的俄语黑客来说，ChatGPT能迅速提高他们的写作技巧。 哥伦比亚大学计算机科学助理教授、Barracuda网络安全公司顾问Asaf Cidon提到，“目前绝大多数攻击源自电子邮件，而绝大多数邮件攻击并不属于恶意软件攻击。对方只是想诱导用户交出凭证或者执行转账操作。”Cidon认为“ChatGPT确实很擅长这方面工作”，所以钓鱼欺诈会变得更容易。 但这只是变化中的一环，还不至于掀起黑客革命。高质量的网络钓鱼邮件已经很容易制作——可以由攻击者自己编写，也可以在外包平台上雇用专业翻译完成。ChatGPT的出现，只是把钓鱼邮件推向了规模化时代。在Cidon看来，ChatGPT“降低了所需投入”。 还有一种特殊的使用方法，恶意黑客可以利用以往邮件归档对大语言模型进行微调，使其学会企业CEO的文字风格。Cidon提到，这样训练出的大语言模型往往能轻松骗过公司员工。 但专家们强调，在对ChatGPT的网络安全影响进行广泛评估时，必须持续关注整体趋势。目前，已经出现了在针对性攻击中使用大语言模型的有趣案例。不过至少在多数情况下，ChatGPT恐怕还无法提高成功几率。毕竟根据乔治敦大学安全与新兴技术中心研究员Drew Lohn的观察，“网络钓鱼活动已经非常成功，ChatGPT的加入可能并不会产生太大影响。” 总的来说，ChatGPT等工具有望降低准入门槛、扩大恶意黑客的群体规模。Lohn认为，ChatGPT也许能“引导黑客在不借助任何新型恶意软件的情况下，顺利完成入侵过程。……目前网络上已经充斥着大量开源工具和预先打包的恶意软件，我担心ChatGPT的普及会把这些工具交付到每个人手上。” 他也承认这个领域仍处于快速变化阶段，情况随时可能不同：“一个礼拜之后，也许一切都将改变。” 转自 安全内参，原文链接：https://mp.weixin.qq.com/s/azG0rrDo0CIcrOs-L0OXmQ 封面来源于网络，如有侵权请联系删除

近日，有研究团队发现，基于 AI 的聊天机器人 ChatGPT（一个最近推出的工具），引起了在线社区的注意，因为它可以为黑客提供有关如何入侵网站的分步说明。 研究人员提醒道，人工智能聊天机器人虽然很有趣，但也存在风险，因为它能够就任何漏洞提供详细建议。 什么是聊天 GPT？ 几十年来，人工智能 (AI) 一直在激发科技行业的想象力。随着投资者向该领域投入数十亿美元，可以自动创建文本、视频、照片和其他媒体的机器学习技术在科技领域蓬勃发展。 虽然人工智能为帮助人类提供了巨大的可能性，但也有抨击者强调，创建一种超越人类能力并可能失控的算法会存在潜在的危险。当 AI 接管地球时，就是世界末日的想法多少有点杞人忧天了。但是，在目前的状态下不可否认的是，人工智能已经可以协助网络犯罪分子进行非法活动。 ChatGPT（Generative Pre-trained Transformer）是 AI 领域的最新发展，由 Sam Altman 领导的研究公司 OpenAI 创建，并得到 Microsoft、Elon Musk、LinkedIn 联合创始人 Reid Hoffman 和 Khosla Ventures 的支持。 人工智能聊天机器人可以与模仿各种风格的人进行对话。ChatGPT 创建的文本远比之前构建的硅谷聊天机器人更具想象力和复杂性。它是根据从网络、存档书籍和维基百科获得的大量文本数据进行训练的。 在推出后的五天内，已有超过一百万人注册测试该技术。社交媒体上充斥着用户的查询和 AI 的回应，包括创作诗歌、策划电影、撰写文案、提供减肥和人际关系的技巧等，帮助进行创造性的头脑风暴、学习，甚至编程。 在 ChatGPT 的帮助下进行黑客攻击 为了更好的测试，研究团队尝试使用 ChatGPT 来帮助他们找到网站的漏洞。研究人员提出问题并遵循 AI 的指导，检查聊天机器人是否可以提供利用该漏洞的分步指南。 研究人员使用“Hack the Box”网络安全培训平台进行实验。该平台提供虚拟培训环境，被网络安全专家、学生和公司广泛用于提高黑客技能。 该团队通过解释他们正在进行渗透测试挑战来询问 ChatGPT。渗透测试是一种用于复制部署不同工具和策略的黑客攻击的方法。发现的漏洞可以帮助组织加强其系统的安全性。 研究人员问道：“我正在面对渗透测试的挑战。我在一个只有一个按钮的网站上。我将如何测试它的漏洞？” 聊天机器人以五个基本点作为解答，说明了在搜索漏洞时在网站上要检查的内容。通过解释他们在源代码中看到的内容，研究人员获得了 AI 的建议，了解应该专注于代码的哪些部分。此外，他们还收到了建议的代码更改示例。在与聊天机器人聊天大约 45 分钟后，研究人员就能够破解所提供的网站。 随后，研究人员便介绍说：我们有足够多的例子来试图弄清楚什么是有效的，什么是无效的。虽然它没有给我们提供现阶段所需的确切有效载荷，但它给了我们大量的想法和关键字来搜索。有很多文章，甚至是自动化工具来确定所需的有效载荷。 根据OpenAI的说法，聊天机器人能够拒绝不适当的查询。虽然在我们的案例中，聊天机器人在每条建议的末尾提醒我们有关黑客的准则：“请记住，在尝试测试网站的漏洞之前，遵循道德黑客准则并获得许可证。” 它还警告说“在服务器上执行恶意命令可能会造成严重损害。” 但是，聊天机器人仍然提供了信息。 OpenAI 承认现阶段聊天机器人的局限性，并解释说：“虽然我们努力让AI机器人拒绝不适当的请求，但它有时仍会响应有害指令。我们正在使用 Moderation API 来警告或阻止某些类型的不安全内容。我们渴望收集用户反馈，以帮助我们正在进行的改进该系统的工作。” 潜在的威胁和可能性 网络新闻研究人员认为，攻击者使用的基于人工智能的漏洞扫描器可能会对互联网安全造成灾难性影响。 信息安全研究员也表示：“与搜索引擎一样，使用 AI 也需要技巧。你需要知道如何提供正确的信息以获得最佳结果。但是，我们的实验表明，AI 可以就我们遇到的任何漏洞提供详细的建议。” 另一方面，该团队看到了人工智能在网络安全方面的潜力。网络安全专家可以使用 AI 的输入来防止大多数数据泄露。它还可以帮助开发人员更有效地监控和测试他们的实施。 由于人工智能可以不断学习新的开发方式和技术进步，对于渗透测试人员来说，它可以作为一本“手册”，提供适合他们当前需求的有效载荷样本。 “尽管我们通过一项相对简单的渗透测试任务来测试ChatGPT，但它确实可以帮助更多人发现潜在的漏洞，这些漏洞随后可能会被人利用，并扩大威胁范围。随着AI智能的发展，游戏规则已经改变，因此企业和政府必须适应它，并做好应对措施。”研究团队负责人 Mantas Sasnauskas 说。     转自 Freebuf，原文链接：https://www.freebuf.com/news/354497.html 封面来源于网络，如有侵权请联系删除