大模型训练是在挖“结构信息”，新尺子把信息论脸打肿了

对统计学和机器学习而言，智能是数据的极端压缩；
对复杂系统研究而言，智能是通用计算的涌现；
在智能体与其环境的交互中，智能是开放式的自适应行为。

每一种表现形式都有其自身的文献和目标函数，而这些文献之间鲜有交集。

本文表明，所有这些表现形式都源于一个单一的原则：追求可学习的新颖性。

这份新鲜出炉的学术论文直接给信息论的老祖宗们贴上了“过时”的标签，还顺带扔出一把叫“结构信息”的新尺子。

这把尺子量出来一个反常识的结论：你喂给AI的海量数据，大部分都是没法复用的随机噪声，真正有用的、能被拆解重组的知识少得可怜。

这意味着我们引以为傲的“大炼模型”时代，可能一直在做无用功。

随机噪声和结构信息在数据里偷偷干架

咱们得先把脑子里那个“信息就是数据”的老观念砸碎。

传统信息论告诉你，一堆乱码和一篇莎士比亚，如果字节数一样，信息量就一样大。这像什么？这就像说一堆散装沙子和一栋搭好的乐高城堡，因为重量一样，所以价值一样。

这不是纯属扯淡吗？对于人类或者AI这种“计算资源有限”的家伙来说，乐高城堡能拆了重组，沙子只能扬了。论文里管这层能拆解重组的玩意儿叫结构信息，而剩下的那些纯属“这玩意儿就是随机数”的部分叫时间限制熵。

你训练模型的时候，损失函数一直掉，你以为它在“学习”？其实它可能只是在拼命压缩随机噪声，真正攒下来的、以后能用在别处的家底儿（结构信息）可能就那么一丁点儿。

这个视角一换，很多怪事就说得通了。

换个数据顺序能让AI多长个心眼

传统信息论有个铁律，信息不能通过计算增加，而且你从前往后看和从后往前看，信息量是一样大的。

但这篇论文直接骑脸输出：纯属放屁。你自己试试，看一本侦探小说，凶手最后才揭晓，你前面看得抓心挠肝，那叫“正向”；要是小说第一页就告诉你“凶手是管家”，你再回头看他怎么杀人，那叫“反向”。

哪个给你的冲击大？模型也一样。

论文里拿国际象棋数据做实验，先给棋步后给棋盘状态，模型轻松拿捏；反过来，先给棋盘状态再倒推棋步，模型直接进入“烧脑模式”。虽然学习曲线掉得更慢，但学出来的模型玩残局、判断局势的能力直接飙升。

这说明什么？说明换个顺序，模型被迫“思考”了更多，它的结构信息也就是脑子里的干货变多了。

这啪啪打脸了信息论里那个“顺序不重要”的天真假设。（符号第一性原理就是顺序，34与43显然表示不同数值）

简单规则能逼AI自学微积分

最炸裂的反直觉来了。

我们总觉得，模型学到的顶多就是数据生成过程里的那点东西，这叫“分布匹配”。
但现实是，简单的规则能涌现出巨复杂的行为，比如那个著名的生命游戏：论文里用了一维元胞自动机，规则54，看起来人畜无害。

结果发现，计算力有限的模型想预测这个系统很久以后的状态，光死记硬背那几条规则根本不行，它得自己“发明”出一套关于“滑翔机”、“碰撞”这种高阶概念的物理学。你没听错，为了预测一堆格子，它自己硬生生整出了一套理论物理。

这个时候模型的“程序长度”也就是结构信息，变得巨长无比，比生成数据的那个简单程序复杂多了。这不就是活生生的“教一个人造砖，结果他自学了建筑学”吗？那些嚷嚷着“AI只是鹦鹉学舌”的人，看到这儿是不是该闭嘴了。

语言模型的知识密度碾压图像数据

既然有了“结构信息”这把新尺子，我们就来量量现在主流的训练数据。

论文用自己设计的一套估计算法（前序编码和重序编码，你就理解成两套给AI模型量“智力值”的秤就行）测了测。结果发现，在同样的计算量下，文本数据的结构信息含量吊打图像数据。

你看一张猫的图片，像素随机性极高，模型记住了这只猫的毛色分布，这叫“时间限制熵”很大，但下次换只狗，它又懵了。而读一段文字，词汇之间的长程依赖、逻辑关系，逼迫模型去构建复杂的内部电路比如“归纳头”，这才是能复用的结构信息。

这就是为什么语言模型预训练完能去干点别的事儿，而图像模型预训练完，最大的本事也就是生成更多猫片。
这也能解释，为什么现在合成数据这么火——如果合成过程只是个简单的反推，那它产生的结构信息可能还不如原始数据，纯属用AI的屎喂AI。

数据选择终于有了理论靠山

这整篇论文最狠的启示在于，它给了我们一个看数据价值的“显微镜”。
以前我们选训练数据，要么看最终Loss，要么看下游任务表现，纯属摸着石头过河。
现在有了结构信息这个概念，我们可以直接说：那种让模型学起来很费劲、但一旦学会就能举一反三的数据，才是好数据。

论文里展示了一个叫自适应数据优化的算法，它不去追最低的Loss，而是去追那个“信息吸收率”，结果训练出来的模型，在没见过的任务上表现就是更好。这就像真正的好老师，不是让你做题全对，而是让你脑子里的知识体系越来越庞大。

所以，别再把所有数据都当宝了，那些顺风顺水、一点就透的数据，可能只是在浪费你的电费。真正值钱的，是那些充满“意外”和“结构”的数据。

说到底，这场关于信息定义的仗，是计算限制下的认知革命。当我们放弃追求完美复刻数据的“笨模型”，转而拥抱那些为了应对计算瓶颈而不得不长出复杂结构的“聪明模型”时，智能才真正开始。这大概就是为什么人类能靠有限的生命，去理解无限的世界。