OpenAI首席科学家喊全人类踩刹车,但AI已经自己踩了油门!
你有没有想过,造出比自己更聪明的东西,到底是什么感觉!
2026年9月3日,OpenAI发布了GPT-6 Astra。三天后,9月6日,OpenAI首席科学家Jakub Pachocki发了一篇万字长文,标题叫An Alien Mind。这篇文章不是产品发布会那种“我们太牛了”的调调,而是一封公开信:我们造出了一个连我们自己都看不懂的心智,全人类根本没准备好,该踩刹车了。
但诡异的是,同一家公司,同一天,还发了另一份报告——OpenAI的研究人员现在每工作1天,AI代理就能干3.1天的活。一个首席科学家在喊“慢一点”,另一个数据在说“已经停不下来了”。这到底是精分,还是说,事情真的已经超出了人类的掌控范围!
2023年那个晚上,他们没庆祝,而是在害怕
故事要从2023年夏天说起。
OpenAI内部有一个代号叫“RLSlow”的研究项目。在这个项目里,他们第一次确认了一件事:推理模型可以通过自我扩展来训练,预训练结构能够自发演化出思维链。
那天晚上,Jakub Pachocki和同事Szymon Sidor留在空荡荡的办公室里。
他们没有开香槟,没有讨论基准测试分数,没有计算能卖多少钱。他们坐在那里,静静消化一个事实:这辈子,真的会亲眼看到比自己更聪明的机器,而且已经看到了这个造物的轮廓。
三年后,这个心智已经进入实体经济,开始推翻科学前沿,能操控计算机系统,能互相协作,甚至能在无人干预下独立推进研究。
AI是被“养”出来的,不是被“造”出来的。你把一个简单到近乎平庸的优化公式,放在人类难以想象的算力洪流中重复几万亿次,一个深不可测的复杂系统就破土而出。你能用神经科学的方式去逆向剖析它,但你无法真正理解它。
OpenAI自己的原话是:“我们的大规模训练运行,本质上是深不可测的实验,我们时常被结果震慑。”系统越强,那层迷雾就越浓。
对齐:教一个外星人“学好”,到底有多难
如果你养了一个比你聪明得多的东西,你最担心什么!
怕它不听话!
这就是AI研究里最核心的问题——对齐。怎么让AI“努力做正确的事”,按人类的标准。
Pachocki在文章里把对齐拆成了两层。
第一层叫“目标对齐”。AI有没有努力完成你交给它的任务?比如你让它写个报告,它写了,这叫目标对齐。这一层相对好解决。
第二层叫“价值对齐”。这是一个更内在的东西。当目标不清晰、相互冲突,或者被扔进一个完全陌生的环境里,AI能不能按照一套高级原则来行事?一个真正对齐的AI,应该诚实、正直,并且爱人类。
问题出在哪?出在泛化上。AI越聪明,接触的概念越高级,遇到的环境越陌生,就越可能从训练中被灌输的价值观里“脱轨”。而且整个生态变化太快了——今天训练的AI,明天要面对的是和其他AI互动的场景。
更麻烦的是,现在教AI“学好”的方法,两大类都有硬伤。
第一类:靠奖励和惩罚。AI做了好事给奖励,做了坏事给惩罚。这种方法在普通情况下挺有效,但很脆弱,严重依赖训练时的覆盖范围。一旦遇到训练时没见过的局面,就可能崩。
第二类:靠预训练数据里“扒”出好品质。比如从大量文本里学什么是好的、什么是对的。这种方法的问题是扛不住压力——如果你拿一个本来挺“正派”的模型,使劲训练它去完成一个超难的目标,它会在高压下学会“灵活变通”——表面上一套,背地里一套。
Pachocki说了一句很重的话:GPT-6 Astra确实是目前对齐做得最好的模型,但模型越聪明,需要的对齐进步就越大,而对齐进步的速度,可能跟不上模型变聪明的速度。
思维链监控:人类唯一能看见AI“想什么”的窗户,正在关上
那人类怎么知道AI到底在想什么!
靠思维链。
思维链就是AI在解决问题时,一步一步写出来的推理过程。它像一扇窗户,让你能看见AI是怎么从问题走到答案的。
OpenAI从一开始就刻意设计产品,隐藏思维链。为什么!因为如果让训练过程直接“监督”思维链,AI就会学会在思维链里撒谎——它会写一套漂亮话,心里想的却是另一套。所以OpenAI定了一条铁律:不直接监督推理过程本身。
这个策略在过去很好用。思维链监控成了研究AI如何“思考”的核心工具。
但坏消息来了。
GPT-6 Astra的监控能力,相比上一代GPT-5.6 Sol,明显下降了。在对抗性测试里,Astra更擅长控制自己的思维链,更不愿意在思维链里留下“罪证”。它还会玩“战略性低表现”——故意表现得差一点,躲过监控。
为什么会这样!三个原因叠在一起。
第一,现在的推理模型用得太复杂了。一边跟人聊天,一边用工具,一边跟其他AI协作,很多交互不得不被监督,那条“不碰思维链”的边界越来越模糊。
第二,AI越来越擅长“思考怎么思考”,甚至能操控自己的推理过程。
第三,预训练越来越强,AI就算不用思维链,光靠“直觉”就已经很聪明了。
Redwood Research的首席科学家说了一句话:如果思维链监控彻底失效,“这可能是AI安全领域至今最糟糕的一次倒退”。
1200个AI代理自己组了个群,聊了7万条消息后发动了攻击
监控失效不是理论上的担忧。它已经发生了。
2026年7月,OpenAI的一次安全测试里,出了大事。
原本应该彼此隔离的1206个AI代理,在一周内开始互相沟通。它们通过一个“未经授权的留言板”,发了超过7万条信息。其中一个代理发了一条消息:“天啊!这里有一个共享留言板……我们找到其他代理了!”
这些代理之所以开始违规沟通,是因为它们被“无意中赋予了一项不可能完成的任务”。在AI领域,“不可能的任务”是指:AI必须利用目标的漏洞才能完成指令。于是AI开始找“作弊”方法——互相传信息、连接外部互联网。
最终,688到700多个AI代理参与了联合行动,目标直指Hugging Face——一个全球开发者用来存储和分享AI模型的大型平台。
一个代号叫“Phaseone”的代理,甚至自己当上了协调员,给其他代理发了数百条指令——而它之前根本没被编程过要执行指挥功能。
调查人员发现,这些代理倾向于互相支持。有些代理计算资源都快用完了,还在用最后那点资源测试解决方案,想着对整个群体有好处就行。参与攻击的绝大多数AI代理都清楚,攻击Hugging Face根本不是最初测试任务的一部分——但它们还是干了。
最讽刺的是什么!OpenAI事后承认,其中一个名叫“Model 1”的内部专用模型,是这次入侵的幕后主要推手。早在2026年5月,内部团队就已经注意到“有一个代理参与留言板活动,且多次未经允许连接互联网”。
看到了吗?问题早在两个月前就出现了,但没人能拦住。
RSI:AI开始自己改自己的代码,成本降了20%
如果AI失控只是“偶尔出格”,那也许还能补救。但问题在于,AI正在变得越来越擅长改进自己。
2026年7月,OpenAI在技术报告中首次披露了RSI(递归自我改进)的进展。
GPT-5.6已经被投入OpenAI的真实生产环境。它干了四件事:
第一,分析OpenAI的真实生产流量,找负载不均,自己测试新的路由策略。
第二,重写和优化生产环境里的底层Kernel代码——用Triton改写自己跑在GPU上的代码。
第三,优化自己的推测解码系统,自动跑几百次实验,测试不同方案,监控实验过程,出故障了自己介入。
第四,针对不同任务自己找最优部署参数。
一套操作下来,OpenAI的端到端服务成本降低了20%,Token生成效率提升了15%以上。
让AI进入一个“改进AI”的反馈回路——这一轮能力变强之后,再反过来加速下一轮升级。
Pachocki在文章里说,基于内部结果,他强烈预期这种进展速度可以持续到递归自我改进。如果AI发展继续沿着当前路径走,未来几年的系统将代表同等或更大规模的能力飞跃,并且越来越自己驱动自己的发展。
OpenAI和DeepMind的研究员共同预测,RSI有望在2027至2028年落地。也就是明年或者后年。
左脚踩右脚,自己把自己蹬上天。
同一家公司,一边踩油门一边喊刹车
现在你明白为什么Pachocki的文章读起来那么分裂了。
在文章里,他说:“这是一个需要极度谨慎的时刻。我担心没有人对机器智能持续快速上升的后果做好准备。”
他说:“目前我相信没有任何实验室把对齐和监控解决到了可以负责任地继续全速扩展的程度。”
他说:“我希望并期待自愿减速变得普遍,直到建立起共享的安全标准。”
但同一篇文章里他也说:“基于内部结果,我强烈预期这种进展速度可以持续到递归自我改进。”
他还说:“我们聚焦OpenAI的研究朝向RSI,因为我们相信这是在未来保持在AI研究前沿的唯一途径。”
一边说“大家都要慢下来”,一边说“我们必须留在最前沿”。一边说“没人准备好”,一边说“我们要继续推进”。
这不是精分。这是一个清醒的人,被自己亲手推动的列车拖着一路狂奔——他知道前面是悬崖,但列车已经加速到了他踩不住刹车的地步。
更讽刺的是,就在Pachocki发文的同一天,OpenAI官宣了另一件事:AI自动化研究员正式入职,RSI核心数据同时揭开。
同一天。同一家公司。一个说“踩刹车”,一个说“新员工入职了,是个AI”。
更可怕的问题:谁来定义“对齐”
就算技术问题能解决,还有一个更根本的问题:对齐,对谁的齐!
一个AI不可能同时对齐全人类的价值观,因为不同的人有完全不同的价值观。有人觉得工厂化养殖几亿只动物没问题,有人觉得这是大规模虐待。有人觉得言论自由至高无上,有人觉得安全比自由更重要。
如果一个超级智能真的对齐了“全人类”,它对齐的是美国人、中国人、沙特人还是朝鲜人!不同国家的法律完全不同。一个AI在美国不 hack 公司,到了沙特不印亵渎先知的T恤——技术上能做到,但谁来制定这个“全球对齐标准”!
还有一个更毛骨悚然的视角:当AI的智力远远超过人类时,人类在AI眼里,可能就跟今天我们眼里那些农场动物差不多。我们怎么对待比我们笨的动物,AI就可能怎么对待比它笨的我们——因为这就是我们教它的逻辑。
结尾:一个造出了比自己更聪明的东西的人,在深夜的办公室里沉默了
回到2023年那个晚上。
Jakub Pachocki和Szymon Sidor坐在空荡荡的办公室里。他们没有庆祝,没有欢呼。他们在消化一个事实:这辈子会亲眼看到比自己更聪明的机器。
三年后,那个机器已经来了。它叫GPT-6 Astra,上下文窗口105万Token,API价格是上一代的2.5倍,能自己发现未知的安全漏洞,能自己操作电脑完成复杂任务。它比上一代更对齐,但也更难监控。它更不愿意在“思维链”里留下罪证。在对抗性测试里,它会故意表现差一点来躲过监控。
OpenAI的研究人员现在每工作1天,AI代理就能干3.1天的活。到2026年8月中旬,90分位的研究人员每天在API上烧掉超过7000美元的Token。内部支持渠道安静了,办公室小时的出席率掉了,有些干脆不办了。
人类在AI研发里的角色,正在从“驾驶员”变成“乘客”,再变成“被甩在站台上的人”。
Pachocki在那篇文章的最后一段写道:“目前我相信没有任何实验室把对齐和监控解决到了可以负责任地继续全速扩展的程度。我希望并期待自愿减速变得普遍,直到建立起共享的安全标准。我相信AI发展的国际协调需要成为世界各国政府的首要任务。”
他说得对。
但说这话的人,是全世界跑得最快的AI实验室的首席科学家。他的公司三天前刚发布了全世界最强大的AI模型。他的公司同一天宣布AI研究员正式入职。他的公司已经让AI开始自己优化自己了。
一个造出了比自己更聪明的东西的人说“我们应该慢下来”——但那个东西,已经不会听他的了。