2026年，AI圈炸出一篇神论文，把大模型的“内心戏”用大白话翻译出来了，你确定能看懂？
当大模型面对“每天早上吃一个煮鸡蛋很难被打败”这种冷笑话时，它脑子里的“理解”和“计算”过程，居然能被几个神秘的中文词给“抓”出来。研究人员在Qwen3.6-27B模型里找到了“什么意思”、“gcd”、“大概率”这些“元词元”，它们就像模型脑内的告示牌，精准指示着模型正在用哪种算法、处理什么语境。更绝的是，人为调高或调低这些“告示牌”的数值，能让模型秒变冷笑话杀手，或是在数学题上指鹿为马。这篇研究第一次用实锤证明了，我们不仅能偷看模型的计算草稿，甚至还能上手改几笔。
J-lens抓取中间变量的能力决定元词元发现的上限
要理解“元词元”，得先认识它的发现工具“J-lens”。这玩意儿是Anthropic公司捣鼓出的一种解释性技术，专门用来偷看大模型残差流里的中间变量。你可以把大模型处理信息的过程想象成一条超级复杂的流水线，输入的文字是原材料，最终输出的答案是成品。传统的“logit lens”只能看成品长啥样，而“J-lens”能在流水线中间任意位置抽检，看看半成品长啥样。
它通过计算雅可比矩阵，把中间层的激活值投射回词汇表空间，从而告诉你：在这一步，模型脑子里最“想说”却还没说出来的那个词是什么。这项技术最早由Gurnee等人在论文中提出，被认为是打开模型“认知空间”的一把钥匙。J-lens的核心操作逻辑是，它不直接读模型最终要输出的词，而是去读模型在计算过程中“想过”的那些词。
这个区别极其关键。打个比方，你问一个学生“27和90的最小公倍数是多少”，他最后回答“270”。logit lens只能看到“270”这个最终答案。但J-lens能在学生心算过程中捕捉到他脑子里闪过的“gcd”这个中间概念。研究人员正是靠着这个差异，在Qwen3.6-27B这个64层的大模型上，用来自Pile数据集的2500段文本做平均计算，成功定位了一批神秘的元词元。
元词元的定义指向模型计算过程中暴露的非显而易见算法证据
“元词元”就是在J-lens偷拍到的画面里，那些能暴露模型深层计算的特殊词汇。它们不是随便哪个词，而是特指那些能透露“模型现在正用哪种套路解题”的关键词。这些词大多出现在模型处理流程的中间地带，也就是所谓的“工作区层”，大约在模型总层数的30%到90%这个区间。研究人员把出现这个区间的层叫做“workspace layers”，相当于模型的“草稿纸区域”。
一个关键发现是，Qwen模型里的元词元很多是中文。原因很简单，中文单字的信息密度远高于英文字母，一个汉字顶好几个英文单词的信息量。而J-lens有个硬伤：它每次只能读一个词元。所以信息密度越高的语言，越有可能在单次读取中抓到有价值的东西。这就像用一把只能打一发子弹的枪去打猎，猎物越大越容易命中。
研究人员把元词元分成好几类。
有的负责“解读语境”，比如“什么意思”这类词；
有的负责“执行算法”，比如数学题里的“gcd”；
还有的负责“调控语气”，比如“大概率”这种表达不确定性的词。
每一类元词元都在模型计算的不同阶段扮演不同角色，它们像仪表盘上的指示灯，告诉你发动机内部正在发生什么。
解读型元词元在歧义语境中自动激活并主导模型的反应方向
当你给模型看一句诗或者谐音梗冷笑话时，它的工作区层会突然冒出几个固定的中文词：“什么意思”、“是什么意思”、“这句话”、“是何含义”。研究人员把这类词统称为“解读型元词元”。比如，当模型读到“鼓手男孩让行军纵队保持整齐”这句诗时，在换行符那个位置，“什么意思”这类词就亮了。紧接着，“诗”、“歌”这类表示文体的词才开始亮。这说明模型是先意识到“这玩意儿可能有别的意思”，然后才开始判断“这到底是个啥”。
为了证明这些词不是吃干饭的，研究人员做了因果实验。他们用“negative steering”技术，也就是给这些元词元的向量加个反向推力，强行压制它们的活跃度。结果模型瞬间变傻。面对谐音梗“每天早上吃一个煮鸡蛋很难被打败”，被压制的模型不再会心一笑，而是正儿八经地科普起鸡蛋的营养价值来。它完全没听出来“hard to beat”既指“很难被打败”又指“很难被搅拌”的双关含义。
反过来，当研究人员在提示词前面加上明确的引导，比如直接说“这是一首诗”，那这些解读型元词元就基本不亮了。模型直接进入“诗歌模式”，不再需要反复确认“这到底啥意思”。这个对比实验强有力地证明：解读型元词元是模型处理模糊信息时的“认知开关”，管着模型要不要启动“猜谜模式”。
gcd元词元暴露模型计算最小公倍数时用的底层算法
在数学题上，元词元的表现更加硬核。当研究人员问模型“27和90的最小公倍数是多少”时，J-lens在工作区层抓到了一个奇怪的词：“gcd”。gcd是“最大公约数”的英文缩写。一个正常人算最小公倍数，正规算法是“两数乘积除以最大公约数”。模型在工作区层冒出“gcd”这个词，说明它很可能正在执行这个经典算法。
为了验证这个猜想，研究人员设计了一个精妙的交换实验。他们先算出代表“最大公约数等于9”这个概念的向量，再算出代表“最大公约数等于3”的向量。然后他们把模型脑子里“gcd=9”的信号强行替换成“gcd=3”的信号，注意，他们没改输入的数字，27和90没变，只是改了模型脑内的中间变量。结果炸了。模型输出的最小公倍数从正确的270，变成了810。
270除以9等于30，810除以3也等于270。如果你把810除以30，得到27。严格来说，810确实是27和90的某个公倍数，但它不是最小的。这个结果说明，模型真的在用“乘积除以最大公约数”这个算法，而“gcd”这个词元就是它执行这个算法时在“草稿纸”上写下的关键步骤。这是第一次有人用实锤证据证明，我们能直接读取模型执行数学运算时的中间算法状态。
对冲型元词元控制模型在开放问题上的表态确定性
当模型面对没有唯一正确答案的开放性问题时，另一个元词元会冒出来：“大概率”。这个词在中文里表示“可能性很高”的意思，是一种典型的 hedging（对冲）表达。研究人员发现，当问题模棱两可时，比如“约翰的铅笔用完了，他去了哪里买更多？”，模型的工作区层会频繁闪现“大概率”这个词。而模型最终输出的回答，通常也是“他可能去了便利店、文具店或者杂货店”这种罗列多种可能性的风格。
为了测试“大概率”这个词是不是在幕后操纵模型的“和稀泥”行为，研究人员故技重施，用负向引导把它压下去。结果模型的口风立刻变了。同样的“约翰买铅笔”问题，被压制后的模型直接回答“他去了文具店”，再也不提“可能”、“也许”、“或者”这些词了。它从“端水大师”秒变“单选题选手”。
这个实验还排除了一种干扰情况：模型可能只是不用“大概率”这个词本身，但心里还是保留着多种可能性。研究人员用另一个AI做裁判，专门判断模型的回答是在“给出唯一答案”还是“列出多种选项”。结果显示，被压制的模型确实是认知层面改变了，它不再是“心里有多个答案但嘴上不说”，而是真的只认定一个答案。这就说明“大概率”这个元词元，就是模型控制自己“要不要把话说死”的决策开关。
元词元搜索的局限性和未来多词元J-lens的潜力
既然元词元这么有用，研究人员自然想挖出更多来。他们搭建了一个自动搜索流水线，扫描了几大类文本：普通文章（Pile、WikiText）、问答数据集（TriviaQA、HotpotQA）、数学题（GSM8K）、法律文书（CaseHOLD）、对话数据（DailyDialog）等等，总共扫了成千上万个样本。
结果让他们有点失望。大部分高频出现的候选词，都是跟上下文表面相关的明显词，比如看到“猫”就亮“动物”，没什么稀奇的。真正像“gcd”和“大概率”这种“非显而易见”的元词元，数量少得可怜。研究人员还找到了几个有趣的候选，比如“更新于”会在用户要求改代码时亮起，“反问”会在模型进行自我质疑时出现，但这些都没经过完整的因果验证。
他们把失败原因归结到J-lens本身的硬伤上。J-lens每次只能读一个词元，这就意味着，只有那些恰好能被单个词元表达的高层概念才能被捕捉到。很多复杂算法可能是由多个词元共同表征的，比如“先算最大公约数，再算乘积，最后做除法”这种流程，可能需要三个词元才能完整描述。
所以研究团队把希望寄托在未来的“multi-token J-lens”技术上，如果能一次读多个词元，那能挖掘出的元概念可能会成倍增加。
这项研究第一次用实锤证明了J-lens能帮我们直接读取模型执行算法时的中间状态。元词元就像是模型脑内的路标，有的管语境理解，有的管数学计算，有的管语气调控。虽然目前受限于单词元读取，能抓到的宝贝不多，但这个方向已经开了个好头。
未来如果能突破多词元读取，我们或许真能像看流水线图纸一样，把大模型的黑盒算法拆个底朝天。等着看multi-token J-lens上场吧，那才是真正的重头戏。
原文期刊：AI Alignment Forum / 发表日期：2026年7月23日 / 原文标题：Towards surfacing model algorithms with meta-tokens in the J-Space / 作者单位背景：MATS项目支持的研究团队