研究人员创建首个生成式AI蠕虫，展示了潜在的网络安全风险

摘要: 安全研究人员在测试环境中创建了一个AI蠕虫，可以自动在生成的AI代理之间传播，这是沿途窃取数据并在此过程中发送垃圾邮件电子邮件的。

研究人员创建首个生成式AI蠕虫，展示了潜在的网络安全风险

随着像OpenAI的CHAT GPT和Google的Gemini这样的生成式AI系统变得越来越先进，它们被越来越多地投入使用。初创公司和科技公司正在构建AI代理和生态系统，这些系统可以为您完成繁琐的任务，比如自动制定日历预订和潜在地购买产品。但随着这些工具获得更多自由，它们被攻击的潜在方式也在增加。

现在，研究人员展示了连接的自主AI生态系统风险的演示，他们创建了他们声称是首批生成式AI蠕虫之一。这些蠕虫可以从一个系统传播到另一个系统，潜在地窃取数据或在过程中部署恶意软件。康奈尔科技研究员本·纳西说：“这基本上意味着现在您有能力进行或执行一种以前未曾见过的新型网络攻击。”

纳西和其他研究人员斯塔夫·科恩以及罗恩·比顿创建了这个名为Morris II的蠕虫，以向1988年在互联网上造成混乱的原始Morris计算机蠕虫致敬。研究人员在一篇研究论文和网站中展示了这个AI蠕虫如何攻击生成式AI电子邮件助手，窃取电子邮件中的数据并发送垃圾邮件，同时破坏了CHAT GPT和Gemini的一些安全保护。

这项研究是在测试环境中进行的，而不是针对公开可用的电子邮件助手。这项研究出现在大型语言模型（LLMs）越来越多地成为多模态的情况下，它们能够生成图像和视频以及文本。虽然生成式AI蠕虫尚未在野外被发现，但多位研究人员表示，这是初创公司、开发人员和科技公司应该关注的安全风险。

大多数生成式AI系统通过输入提示来工作，这些提示告诉工具回答问题或创建图像。然而，这些提示也可以被用来对系统进行攻击。越狱可以使系统无视其安全规则并喷射有毒或令人讨厌的内容，而提示注入攻击可以给聊天机器人提供秘密指令。例如，攻击者可能在网页上隐藏文本，告诉一个LLM扮演骗子并要求您的银行详细信息。

为了创建生成式AI蠕虫，研究人员转向所谓的“对抗性自我复制提示”。研究人员表示，这是一个触发生成式AI模型在其回复中输出另一个提示的提示。简而言之，AI系统被告知在其回复中产生一组进一步的指令。研究人员说，这在很大程度上类似于传统的SQL注入和缓冲区溢出攻击。

为了展示这个蠕虫如何工作，研究人员创建了一个可以使用生成式AI发送和接收消息的电子邮件系统，它连接到CHAT GPT、Gemini和开源LLM LLaVA。然后，他们找到了两种利用系统的方法：使用基于文本的自我复制提示和在图像文件中嵌入自我复制提示。