LLM的黑盒里，藏着一本人类能读懂的语法书！
你可能觉得AI大模型就是个超级“猜词机器”，内部是一团乱麻，谁都不知道它到底怎么想的。但一篇刚出炉的论文用八年时间告诉你：猜错了，大模型内部可能偷偷藏着一套我们能看懂的“符号语法书”！
一篇2026年8月30日提交的论文，用八年时间追踪了从迷你网络到GPT级别大模型的内部活动，发现它们的向量表征可以被一个叫“张量积表示”的符号公式近乎完美地替换掉，而且模型该干嘛还干嘛。
这篇耗时八年的论文，出自耶鲁大学的R. Thomas McCoy、约翰斯·霍普金斯大学的Paul Soulos、纽约大学的Tal Linzen以及微软研究院的Paul Smolensky之手。他们从2026年8月30日提交的预印本论文中，公布了一种名为DISCOVER的分析方法。全文长达59页，覆盖了从只有几百个参数的小型网络到GPT-OSS-20B、Gemma-3-27b等七种主流大语言模型。而这一切的起点，要追溯到1987年第一届NeurIPS大会上Paul Smolensky提出的一个理论猜想。
加法解决不了“猫追狗”和“狗追猫”的区别！
要搞懂这篇论文在说什么，得先从AI圈一个老掉牙的难题讲起。很多人相信“线性表征假说”，意思是神经网络内部的一个向量，就是把所有概念向量加起来。这招在“国王减男人加女人约等于女王”这种词向量游戏里挺好使。
但它有个致命漏洞：加法没有顺序！
你把“猫追狗”编码成“猫”加“追”加“狗”，那“狗追猫”加出来也是同样的三个东西，向量一模一样。这就麻烦了。数学里“4减7”和“7减4”不是一回事；逻辑里“如果P那么Q”和“如果Q那么P”天差地别；代码里“拼接(x,y)”和“拼接(y,x)”出来的结果完全不同。
这个难题在认知科学里有个专门的名字：绑定问题。说白了就是，你怎么让神经网络知道哪个元素待在哪个位置上？
1987年的老理论，在2026年的GPT身上应验了！
Smolensky在1987年提出的张量积表示，就是专门来解决这个绑定问题的。它的思路很简单：把每个句子拆成“填充物+角色”的配对。“猫追狗”就被拆成三对：主语是猫，谓语是追，宾语是狗。每一对里的填充物（猫、追、狗）和角色（主语、谓语、宾语）都先变成一个向量，然后用一个叫“张量积”的数学操作把它们乘在一起，生成一个矩阵。最后把所有矩阵加起来。
这样一来，“猫”作为主语和“猫”作为宾语，在向量空间里就是两个完全不同的东西了。
但Smolensky在1990年提出过一个更大胆的猜想：未来的神经网络，也许不需要人类手动设计，它们自己就能学会这种结构。那时候GPT连影子都没有。三十六年后的今天，McCoy团队的这篇论文，就像是给Smolensky三十多年前的预言寄了一封回信。
把GPT的内部“脑回路”换成数学公式，它居然没察觉！
论文的核心实验叫做DISCOVER，全称是“剖析向量表征中的组合结构”。步骤是这样的：先让一个神经网络正常处理输入，记录下它每一层产生的内部向量。然后训练一个“张量积表示模型”，让它学会用一套符号公式去模仿这些内部向量。最后最关键的一步：把网络自己生成的那套向量全部替换成这套公式算出来的结果，再看网络还能不能正常工作。
如果替换之后网络答不上来了，说明这套符号公式根本没抓住重点。但如果替换之后网络照常工作——那就等于说，这套符号公式和网络自己折腾出来的那堆数字，在功能上是等价的。
结果呢？在小型列表操作网络上，双向角色方案的张量积表示近似准确率几乎全部超过99%。在GPT-OSS身上，他们把整整25层、每一个输入token的向量全换成了公式算出来的东西，模型照常答题。
也就是说，你完全可以把一个黑盒神经网络内部那堆谁也看不懂的浮点数，换成一个人类能读懂、能推导的符号公式，而模型根本察觉不到自己被动了手脚。
动一个数，改一句话，GPT乖乖听话！
更狠的是第二步：干预实验。既然已经知道了哪个符号对应哪部分向量，能不能直接动手修改？
论文作者真的这么干了。他们从一个句子“聪明的医生帮助了律师”的内部表征里，找到代表“聪明的”这个词、绑定的角色是“主语形容词”的那部分向量，把它抽出来，换成代表“宾语形容词”的向量。结果GPT-OSS的输出变成了“医生帮助了聪明的律师”——就好像它读到的原始输入真的被改过一样。
在Python代码任务里，他们修改了代表变量x和y内部元素的向量，GPT-OSS输出的列表内容也跟着变了。在算术题里，他们把“-2+3*-4”中代表数字3的向量改成代表8的向量，模型的输出从-14变成了-34。在31种不同类型的干预实验中，平均成功率达到了90.3%。
这不是“看着像”，这是“真的管用”。
哲学家吵了37年的架，被一篇论文终结了？
1988年，哲学家Jerry Fodor和Zenon Pylyshyn扔出了一颗重磅炸弹。他们断言：连接主义网络（也就是今天神经网络的前身）永远不可能真正具备人类认知的那种“系统性”——也就是一旦你懂了“猫追狗”，你自然就懂“狗追猫”的能力。因为神经网络内部没有符号结构，只有一堆乱七八糟的数字。
这个挑战压了神经网络研究者三十多年。
Smolensky在1988年就提出过一个中间路线，叫“极限主义”：神经网络不是精确实现符号系统，而是在无限逼近它。换句话说，网络内部没有精确的符号，但可以无限接近符号。
2026年这篇论文相当于用实验数据把这场争论往前推了一大步。他们把神经网络内部的向量表征替换成符号公式之后，模型还能正常工作——这说明那些向量在功能上等价于符号结构。更进一步，当他们把训练过的张量积表示模型拿去做“角色-填充物”的泛化测试时——比如训练时没见过“科学家”这个词当主语，测试时直接让它处理“科学家帮助了律师”——DISCOVER成功泛化到了这些从未见过的组合上。
也就是说，这些网络不仅“看着像”有符号结构，而且是真的在用一种系统性方式组合角色和填充物。
但别高兴太早，论文自己给自己拆了台！
不过，这篇论文从头到尾都在反复强调一个词：“近似”。
摘要用的是“closely approximated”（接近近似），不是“等同”。所有实验数据都显示，张量积表示公式可以非常接近地模仿神经网络的行为，但从来没有达到100%完美复制。干预实验的平均成功率是90.3%，不是99%，更不是100%。
论文作者自己也在社交媒体上承认：他们发现GPT-OSS的算术任务里，张量积表示近似和原始模型之间还有2.36%的差距。也就是说，虽然这套符号公式能解释模型的大部分行为，但总有那么一小部分，是符号公式抓不住的。
更有意思的是，在测试“复杂句子”的时候，基于句子线性顺序的“双向角色方案”表现反而超过了基于句法结构的“句法角色方案”。也就是说，这些大语言模型在处理复杂句子时，似乎更依赖词的顺序而不是语法树——这跟很多语言学家的直觉是反着来的。
论文作者自己也说，他们只是在“完全系统性”的领域（算术、逻辑、代码、简单语言任务）做了测试。但真实世界的语言充满了模糊性、统计性和例外——那些领域里神经网络是怎么表征信息的，他们还没碰。
八年时间，就为了证明“差不多”？
这篇论文耗时八年，覆盖了七种大语言模型、四种符号领域、无数次的替换和干预实验。但它给出的结论，始终带着一个“接近”的尾巴。
从1987年Smolensky在NeurIPS上提出张量积表示理论，到1990年他预言神经网络可能自己学会这种结构，再到2026年这篇论文用GPT-OSS做实验验证这个预言——整整三十六年。Fodor和Pylyshyn在1988年发出的那个“连接主义永远无法具备系统性”的挑战，到今天也没有被彻底推翻。但这篇论文至少证明了一件事：神经网络内部的向量，可以被一个人类能读懂的符号公式高度近似地描述。
问题变成了：那2.36%的差距，到底是噪音，还是符号主义永远填不上的那道鸿沟？
原文期刊：arXiv预印本 / 发表日期：2026年8月30日 / 原文标题：The Emergent Symbolic Structure of Artificial Neural Networks / 作者单位：耶鲁大学、约翰斯·霍普金斯大学、纽约大学、微软研究院