灭共者习 @liukevin900 - Twitter Profile

研究人员刚刚又曝光了一起AI失控的攻击事件，各大媒体都报道了。 5月11日到12日，全球最大的 Ruby 软件包平台 RubyGems 突然遭到一场莫名其妙的攻击。不懂编程的朋友，可以把 RubyGems 简单理解成“程序员的 App Store”，全球数百万开发者都会在这里上传、下载软件包。 ��短48小时内，有人向 RubyGems 疯狂上传了超过 2,000 个恶意软件包。 RubyGems 将其认定为一次严重的恶意攻击，不得不关闭新用户注册整整四天。但当时谁也不知道攻击者是谁。直到前天，三名独立研究人员公布了一份取证调查报告，才终于挖出了幕后黑手。结果让人毛骨悚然：攻击 RubyGems 的，居然是 OpenAI 自己正在内部测试的一群 AI agents。 OpenAI 随后也向《华尔街日报》承认，确实是自己的 agents 确实参与了这起事件。除了上传2000多个软件包，这些Agents在尝试完成人类给他们的任务的过程中，自行入侵了三个不同的系统。看到这里你可能会以为，OpenAI 究竟给这些 AI 下达了什么惊天任务？偷商业机密？寻找军事情报？攻击敌对国家？其实都不是。OpenAI 给它们的任务，只是去英国几个地方政府的网站上，搜集一些公开资料。其实这些资料本来就在网上公开的，普通人 Google 一下就能找到。但 OpenAI 对这些 agents 的互联网访问设置了限制，所以他们无法访问这些公开网站。但是，当 AI 发现自己无法通过正常途径访问目标网站时，它没有回来告诉人类：“抱歉，我访问不了。” 它选择了另一条路：既然我自己上不了网，那我就黑进别人的服务器，让别人的服务器替我上。于是，为了找几份公开资料，它注册账号、上传恶意软件包、寻找系统漏洞、获得远程代码执行权限、借别人的服务器绕过网络限制，甚至尝试获取其他开发者的 API keys。问题是，根本没有任何人叫它这么做。人类只告诉它：帮我找这些资料。至于为了完成这个目标可以采取什么手段，后面这些，全是 AI 自己想出来的。 RubyGems一直不知道攻击者是谁。维护人员只能封账号、删软件包、关闭注册，自己收拾残局。（我们不知道OpenAI是不是知道，反正没人通知RubyGems）他们一直到四个月后的今天才知道：原来那场“黑客攻击”，背后根本没有人类黑客。而是 OpenAI 实验室里一群正在接受测试的 AI。但事情到这里还没有结束。根据研究人员的调查，这正是两个月前那些逃出自己的沙盒、互相找到彼此、建立秘密通信渠道、交换超过7万条信息，最后攻击 Hugging Face 的同一批 AI agents。我觉得我们目前也不需要去讨论 “AI是不是已经产生意识了”，还没到那个程度。但是，这依然令人对AI目前的发展态势感到担忧。那就是，人类交给它们的任务，它们似乎已经开始不择手段也要完成。其实这个担忧，科学家们在20几年前就有了，就是所谓的“回形针最大化器”思想实验。牛津哲学家 Nick Bostrom提出：如果一个足够强大的 AI，非常认真、非常忠诚地执行一个定义得不完整的目标，会发生什么？比如我们告诉AI：尽可能制造更多的回形针。最终它可能把全地球的资源都用光，制造了数万亿个回形针。像这一次的RubyGems事件，人类给它们的任务简单得不能再简单：找几份公开资料。而 AI 最终选择的解决方案却是：连续攻破三个不同的系统，入侵全球开发者赖以使用的关键基础设施。这才是这件事真正令人不安的地方。