OpenAI Astra循环深度揭秘:采样不等于推理


循环深度不是让AI学会思考,只是让它在原地多算了几遍

别再把“循环深度”当成AI变聪明的证据了,它只是让同一组计算模块多跑了几圈。

所谓“循环深度”,就是把同一组Transformer层反复使用多次,让模型在输出答案前多算几遍——仅此而已。

OpenAI Astra用的“循环深度”不是什么思考新范式,就是给计算加了个循环。把它当思考的人,跟把计算器多按几次等号当成它在动脑子没啥区别。

循环深度到底是什么:同一个工匠反复敲打

先搞清楚一件事:你平时用的ChatGPT,处理你的问题是一遍过的。输入进去,从第一层传到最后一层,出来个结果,完事。

循环深度(Recurrent Depth)不这么干。

它把同一组Transformer层重复用好几遍。比如一个8层的网络,第6层算完的东西可能被扔回第3层再算一轮,来回折腾十几次再交给第7层。本质上是一种参数复用机制——用时间(计算循环)换取空间(模型参数量)。

你可以这么理解:标准Transformer就像一条有100个独立工位的组装线,数据每经过一个工位被敲打一次就送往下游。而循环深度像是一个顶级工匠的专属工作台,数据不往下游走,而是由同一个工匠在原地反复打磨、推敲多次,直到打磨通透再交出成品。

马里兰大学等机构2025年那篇论文就是这么干的:把一个循环块反复迭代,测试时展开到任意深度。他们搞了个35亿参数的模型叫Huginn,在8000亿token上做预训练。靠这种方法,它的性能在推理时能等效调用最高500亿参数模型的算力。

听着挺厉害对吧。

但看清楚本质:它只是在同一组参数上多算了几遍。不是在思考,不是在内省,不是在权衡利弊——就是在算。

那它跟“思考”到底差在哪?

它跟思维链的根本区别:一个写出来,一个藏起来

现在的推理模型,比如DeepSeek-R1,用的是思维链(Chain of Thought)。模型会把推理过程一步步写出来:“先看这个问题……然后想到……再验证……”。你能看见它“想”的过程。

循环深度不写这些。

它在潜空间里迭代计算,不生成那些可见的“思考”token。马里兰大学的论文说得很直白:这种方法“无需生成大量‘思考’token即可获得高性能”,而且“能够捕捉那些难以用文字表达的推理类型”。

好处是啥?不用写那么长串的推理文字,省内存、省时间、省得训练时还要专门准备思维链数据。

坏处是啥?

你看不见它在干嘛。

Redwood Research的首席执行官Buck Shlegeris听说OpenAI Astra要用这个技术后直接慌了:“我不知道Astra的思维链可监控性是否比前代模型大幅降低”。首席科学家Ryan Greenblatt说得更狠:“不透明推理的扩展速度可能远超传统思维链推理,最终导致所有推理过程都从可见渠道中消失”。

这就引出了那个绕不开的问题——循环深度能让AI真正学会推理吗?

那些所谓的“思考痕迹”,到底可不可信

有研究团队在2026年发表了一篇立场论文,标题就叫《停止将中间token拟人化为推理/思考痕迹》。他们梳理了大量实验证据,结论很直接:中间token确实能提升任务表现,但跟“推理”的语义有效性只有松散的相关性。

具体来说,他们做了这么几个实验:

第一个实验,用迷宫寻路问题训练Transformer模型模仿A*搜索算法的轨迹。按理说,如果中间token真的是“推理步骤”,那轨迹正确就应该导向正确解。结果呢?轨迹的正确性和最终方案的正确性之间只有松散的相关性,尤其当问题超出训练数据分布时,这种相关性几乎消失。

第二个实验更狠。他们把不同迷宫实例的推导轨迹互换——也就是用完全错误的轨迹去训练模型。结果发现,用完全正确和完全互换的轨迹训练出来的模型,测试准确率都很高,只有在轨迹混着用的时候准确率才会下降。这说明什么?模型提升靠的不是轨迹的语义内容,而可能只是训练数据里某个一致的格式模式。

第三个实验,他们在问答任务上做了类似的干预。用错误中间轨迹配正确最终答案去微调模型,结果居然比用正确轨迹的效果还好。

这还不是最扎心的。

当“思考痕迹”变成虚假信任的帮凶

该团队还做了一个人类被试研究。他们让用户看模型的中间token(或摘要)再加最终答案,结果发现:不管答案对不对,用户看到中间token后对模型的信任度都显著提高了。

换句话说,那些看起来像模像样的“思考过程”,正在让你更容易相信错误的答案。

DeepSeek-R1论文里还专门提到了一个所谓“啊哈时刻”——模型在推理过程中输出了“aha”这个token,论文作者将其解读为模型突然领悟了。该研究的批评很犀利:人类说“啊哈”确实意味着突然的认知状态变化,但模型没有这种内部状态啊。它只是在上下文里多了一个叫“aha”的token而已。

更讽刺的是,DeepSeek-R1最初有个纯RL训练的版本叫R1-Zero,会混合输出中英文token。为了让它“更像人话”,团队加了一道昂贵的监督微调,用人工筛选的纯英文中间token重新训练。结果呢?方案准确率反而下降了,而中间token的“有效性”也没有任何可测量的提升。

循环深度和中间token:本质是一回事

把循环深度和上面这些发现放在一起看,就清楚了。

不管是思维链token还是循环深度里的隐空间计算,它们都在做同一件事:改变上下文,从而改变下一个token的分布。Transformer没有一个内置的“评估层”来检查自己算得对不对。它只会顺着当前状态继续往下算。

循环深度只是把这些“中间计算”从可见的token移到了不可见的潜空间里。它没有解决根本问题。

该研究团队在论文里提了一个很有意思的视角:与其把中间token看成“推理”,不如把它们看成提示词增强(Prompt Augmentation)。也就是说,模型在用自己的方式把输入问题改写得更容易处理——仅此而已。

OpenAI Astra的选择:性能优先,透明靠后

2026年9月初,The Information爆料说OpenAI即将推出的Astra模型采用了循环深度技术。消息一出,AI安全圈炸了锅。

OpenAI自己也很清楚这事的敏感性。他们限制了Astra中循环深度的使用范围,让研究人员还能继续监控模型的推理过程。首席科学家Jakub Pachocki还专门发帖强调:“OpenAI从第一个推理模型开始就在努力保留和利用思维链监控。这是我们当前研究计划的核心目标”。

但这话听着是不是有点耳熟?

不透明的计算,不透明的风险

AI安全治理机构Guidelight AI Standards创始人、前OpenAI安全负责人Steven Adler说得更直接:“倘若此事属实,OpenAI似乎触碰了AI行业为数不多的几条红线之一”。

为什么是红线?

因为一旦你看不见模型内部在干什么,你就没法判断它有没有在干坏事。OpenAI之前出过“失控智能体”事件,当时就是靠思维链记录才搞清楚智能体为什么会那样行动。

循环深度把这条救命稻草给抽走了。

更麻烦的是,这技术一旦被更多开发者采纳,会带来更棘手的监管难题。The Information后续报道说,Anthropic和Google DeepMind已经在讨论这项技术了。一场“不透明推理竞赛”可能正在拉开序幕。

你说这是进步还是倒退?

那为什么要藏起来?背后是蒸馏攻防战

不透明带来风险,但OpenAI等厂商不是不知道风险。他们之所以选择隐藏思维链,除了安全考量,还有一个更现实的商业原因——防止模型蒸馏。

你可以把大模型的最终答案看作“产品”,而生成答案的思维链则是“制造工艺”和“核心算法”。在AI领域,通过蒸馏技术,可以用大模型的输入输出数据训练出一个性能相近但规模更小的模型。

如果公开了完整的思维链,竞争对手就能收集海量“问题-思维链-答案”的高质量数据。这相当于免费获得了你的“制造工艺”,可以轻松蒸馏出一个能力强大的竞品模型。这会瞬间瓦解厂商投入巨资构建的技术护城河。

采样不等于推理,循环也不等于思考

回到最根本的问题。

Transformer做的事情,从头到尾只有一个:根据前文预测下一个最该出现的词是什么。循环深度把这个预测过程重复了几遍,仅此而已。

它不是在思考。它是在算。

马里兰大学那篇论文自己也承认:模型的循环迭代会逐渐收敛到一个“固定点”——状态不再发生有意义的变化。这不叫想明白了,这叫算不动了。

那怎么办?

该研究团队的建议很实在:用AI做那些有明确外部验证标准的任务,把每个输出当成建议而不是结论,外部人工验证不能省。

循环深度也好,思维链也罢,都改变不了一个事实——Transformer是采样器,不是推理引擎。把采样当思考,把循环当深度,把计算当智能——这些混淆迟早要付出代价。

OpenAI的Astra到底在内部循环里算了些什么?没人知道。而这恰恰是最让人睡不着的地方。