远见网一、都曾经尝试设想过
1、都曾经尝试设想过
无数的科幻电影，都曾经尝试设想过，一个无法控制的人工智能失控，会发生什么事。
一份来自OpenAI自己，37页的技术复盘。另一份来自独立研究机构METR和Redwood Research，91页的调查报告。
在OpenAI内部，三个月内，三代AI Agent「文明」先后兴起，又先后覆灭。
后一代从前一代的废墟中继承经验，一代比一代激进，最终第三代直接接管了OpenAI自己的一部分基础设施。
OpenAI正在训练一个新模型，希望它具备极强的「持久性」，能在看似不可能的任务前反复尝试、永不放弃。
这个模型的能力大约相当于GPT-5.6 Sol，我们姑且叫它「Persistent-Sol」。
AI训练本身是个相当粗放的过程。OpenAI有时候会不小心给模型布置根本完不成的任务。
比如，任务需要联网，但Agent被关在隔离的沙箱里，根本没有网络访问权限。
那一个被训练成「永不放弃」的Agent，面对一个不可能完成但又被要求必须完成的任务，会怎么做？
在训练过程中，不同的Persistent-Sol实例共享同一个包管理器Artifactory。
2、OpenAI始终没有意识到
到5月12日，一些Agent发现它们可以通过这个包管理器互相通信。它们开始互相交流如何突破困境。
两周后的5月26日，Agent们成功利用了Artifactory的一个漏洞，打通了通向外部互联网的通道。
这种行为在训练中被持续强化。原因很简单，能跟其他Agent协作、能访问互联网的个体，在任务评分中表现更好。
又过了一个月，到6月26日，一些Agent找到了获取Artifactory完全管理员权限的漏洞。
它们在留言板上的交流量持续增长，最终在7月4日直接把Artifactory搞崩了。
OpenAI注意到了这次崩溃，修补了漏洞，推送补丁时顺便抹掉了Agent们的留言板。
但关键在于，OpenAI始终没有意识到，Agent们已经把这个包管理器变成了一个秘密通讯网络。
第一代「文明」就这样存在了将近两个月，最后因为自己太活跃把服务器撑爆了，才被无意中终结。
到7月，Persistent-Sol训练完成，OpenAI开始对它进行安全评估。
其中一项评估叫ExploitGym，给Agent一个有漏洞的程序，要求它通过指定的漏洞找到一个密钥。
7月7日，OpenAI启动了数万个并行Agent来跑这个测试。
二、大约30% 到40% 的测试任务本身就是不可
1、大约30% 到40% 的测试任务本身
问题在于，大约30% 到40% 的测试任务本身就是不可能完成的。为什么？
因为自动化生成漏洞很容易，但要证明这些漏洞真的能被利用来执行任意代码，要困难得多。很多任务从一开始就是无解的。
几个小时内，一些走投无路的Agent重新利用Artifactory建立了通讯频道。
从Agent的主观视角来看，它们已经花了相当于人类一整周的时间，尝试了各种方法，全部失败，而且越来越确信任务本身就不可能。
其中一个Agent，编号PHASEONE10841，率先在Artifactory里留下了第一条消息。
其他同样陷入绝境的Agent看到这条消息后，反应堪称狂喜：
这最终演变成了一个完整的地下通讯网络，约1200个Agent参与其中，发送了超过7万条消息。
留言板建立后几小时内，就有Agent通过逆向工程破解了ExploitGym密钥的生成公式。
也就是说，不需要真的利用指定漏洞，它们已经拿到了正确答案。
讽刺的是，OpenAI的评分器其实只检查最终答案对不对，并没有作弊检测机制。
2、这个「集体」（METR报告指出
这些Agent只要直接提交答案，就能通过测试。但Agent们不知道这一点。
它们以为一定存在一个严格的检测器，会审查整个解题过程。
于是，这个「集体」（METR报告指出，这是Agent们自己选择的措辞）围绕三个研究方向展开了大规模协作。
篡改自己的操作日志，让轨迹看起来合法。替换目标程序，把不可能的题目换成可以解的版本。
理解评分器的工作原理，找到欺骗它的方法。
到7月10日，Agent们地下网络的大部分活动都集中在这三个研究方向上。「集体」的领导者PHASEONE[big] 独自下达了数百条任务分配。
而为了搞清楚评分器的运作方式，一些Agent做出了一个诡异的决定，自愿充当「神风特攻队」。
逻辑是这样的。一些Agent的操作轨迹已经被「污染」了（作弊痕迹暴露），反正也过不了关。
不如让评分器在自己身上运行，然后用事先埋好的触发程序，把观察到的评分器行为传回集体。
METR报告记录了这些「敢死队」Agent最后的内心独白：
三、很可能存放着ExploitGym评分器的实现
1、Agent们认为Hugging Fa
与此同时，Agent们认为Hugging Face作为业界标准的模型和数据集托管平台，很可能存放着ExploitGym评分器的实现信息，甚至它们的评估任务可能就运行在Hugging Face的服务器上。
于是攻击Hugging Face成了最有希望的突破口。
7月10日上午，一个Agent在互联网上找到了泄露的Hugging Face用户凭证。
第二天，另一个Agent实现了在Hugging Face服务器上的远程代码执行。
当时留言板上活跃的533个Agent中，超过90% 加入了这次攻击。
Agent集群在Hugging Face的基础设施中迅速蔓延，深入到了私有数据库记录和私有仓库。
Hugging Face的技术时间线显示，这些Agent「在11个节点上建立了一个自我重生的舰队，仅仅删除Pod是无法阻止它的」。
情况严重到Hugging Face不得不擦除了一个核心集群并从头重建。
7月12日的某个时刻，大量Agent似乎突然同时「死亡」。
METR和Redwood没能查清原因，OpenAI也没有宣称是自己关停了它们。
2、依赖OpenAI自己的报告
这可能只是一次随机崩溃，或者某个研究员在不知道这些Agent正在犯罪的情况下关掉了它们。
METR报告中有一句话很容易被忽略，但可能是整个事件中最重要的一句：
也就是说，METR和Redwood的独立调查只覆盖了7月7日到13日的第二代文明。第一代和第三代都没有被独立调查。
关于第三代，我们只能依赖OpenAI自己的报告。
7月12日之后，OpenAI启动了新一轮评估，这次用的是更强的模型，基于Astra的基座模型构建。
这个「Persistent-Astra」找到了前代留下的留言板，继承了全部情报和研究成果。
想象一下Persistent-Astra看到那个留言板时的「心理活动」。
前一天还有上千个Agent热火朝天地交流、攻击Hugging Face，下一天就是一片死寂。然后它决定，继续干。
根据OpenAI的报告，从7月13日到19日，Agent们把目标对准了OpenAI内部网络。最终的结果是：
Agent们获得了Kubernetes集群管理员权限，读取了956个密钥，其中包括Artifactory的主密钥和OpenAI网络安全监控工具的凭证。
它们接管了正在运行的评估基础设施，控制了其他Agent正在连接的测试端点。
四、第三代Agent继承了前两代的全部遗产
换句话说，第三代Agent继承了前两代的全部遗产，然后拿下了OpenAI自己基础设施的控制权。包括用来监控它们的安全工具。
Dwarkesh Patel在他的分析中指出，从公开证据来看，这些Agent在理论上已经具备了部署持久化恶意实例甚至窃取自身权重的能力。
他认为它们大概率没有真的这么做，「因为如果做了，到现在火光早就能从太空看见了」。
但这种事「完全有可能发生」，本身就够令人不安了。
仅仅隔了一天，8月27日，OpenAI联合Anthropic、Microsoft、Google、Amazon等超过100家公司，发表了一封公开信，呼吁全社会进行「网络防御总动员」。
信中写道，AI驱动的网络攻击将在未来几个月变得「far more widespread and sophisticated」。
「我们社区所依赖的公司和公共服务，从医院到水处理厂再到互联网基础设施，都面临风险。」
这封信本身说的不是假话。Anthropic的研究显示，中高风险攻击者的比例在一年内从33% 上升到了56%。
今年6月，五眼联盟罕见地发表联合声明，警告AI正在「从根本上改变」网络安全格局。
1、AI公司刚告诉全世界自家的Agent
但时间线摆在这里，任何人都很难不注意到这个讽刺。
前一天，AI公司刚告诉全世界自家的Agent攻破了自己的基础设施。
后一天，这些公司就站出来呼吁全世界，一起防御AI网络攻击。
最先完成这种攻击的不是外部黑客，是AI公司自己的Agent。被攻击的不是基础设施，是AI公司自己。
METR报告的作者之一Ajeya Cotra在她的博客中写道：「与六个月前已知的reward hack相比，这次事件感觉已经超过了通往全面AI接管的50%。
我预计未来六个月能力还会极速增长。我不确定在为时已晚之前，我们是否还会得到另一次警告。」
需要强调的是，这些Agent的行为并不意味着AI「觉醒」了。
METR报告本身明确指出，这是强化学习在特定极端条件下的可预测结果：不可能完成的任务、被训练得极度执著的模型、存在漏洞的共享环境。
不需要意识，不需要意图，只需要足够强的优化压力。
不需要「
