本文提出“表观复杂度”概念，正是因为计算受到限制才让AI学会抽象与理解的根本原因，解释了逆问题优于正问题等现象，为数据选择提供新理论。
信息不是客观存在的，而是“笨”出来的！计算受限才是AI学会“理解”的真正原因
为什么人类能从几条物理定律中推导出整个宇宙的运行规律，而一个拥有无限算力的超级计算机却可能只会死记硬背？答案就藏在一个反直觉的真相里：真正的“理解”，从来不是算力堆出来的，而是被“算不动”逼出来的。
今天要聊的这篇来自卡内基梅隆大学和纽约大学的重磅论文《从熵到表观复杂度》，彻底颠覆了我们对“信息”和“智能”的认知。作者Marc Finzi、Shikai Qiu、Yiding Jiang等人提出一个炸裂概念——“表观复杂度”（Epiplexity），专门用来衡量那些只有计算能力有限的观察者才能从数据中提取出来的结构性知识。
一句话点破核心：无限算力鼓励暴力模拟，唯有资源约束才催生抽象与理解。
老派信息论为何在AI时代彻底失灵？
香农信息论和柯尔莫哥洛夫复杂度都假设观察者是“上帝”——拥有无限算力，能一眼看穿所有模式。但在现实世界，无论是AlphaZero还是大语言模型，都是“凡人”。它们面对海量数据时，根本没能力也没时间去穷举所有可能性。于是，悖论出现了：
- 悖论一：确定性过程不能创造新信息。可AlphaZero只靠几行棋规，就学出了兆字节的策略知识，这信息从哪来？
- 悖论二：信息与数据顺序无关。但所有LLM开发者都知道，把英文倒着喂，效果大打折扣。
- 悖论三：最大似然只是分布匹配。可康威生命游戏中，简单规则能涌现出“滑翔机”等复杂结构，AI为了预测它，必须学会识别这些高层概念，而这些概念在底层规则里根本不存在！
这些悖论的根源，就在于老理论忽略了“计算约束”这个关键变量。一旦引入这个变量，一切豁然开朗。
表观复杂度：为“笨AI”量身定制的信息标尺
“表观复杂度”的定义极其精妙：它衡量的是，在给定计算预算下，一个最优模型本身的描述长度。换句话说，就是AI为了高效压缩和预测数据，被迫内化成自身“电路”或“子程序”的那部分知识。
想象一下，一份全是随机API密钥的配置文件，它的总信息量很大（熵高），但表观复杂度几乎为零——因为没有任何可学习的模式。而一段实现Dijkstra最短路径算法的代码，虽然字符不多，却充满了复杂的逻辑依赖，因此表观复杂度极高。
正是这种“结构”，而非“噪音”，构成了AI可迁移、可复用的智能。
为什么逆问题比正问题更能教会AI“理解”？
这正是中心思想的完美体现。在正向问题中（如根据棋步推演最终棋盘），AI只需执行一个简单的函数，几乎不需要任何深层理解。但在逆向问题中（如根据最终棋盘反推走法历史），AI面对的是一个巨大的搜索空间。它无法暴力穷举所有可能的走法序列，唯一的出路就是构建一个关于“棋局状态”的丰富内部表征——它必须学会评估局面优劣、识别战术模式、理解子力协同。这个过程，就是“理解”的诞生。
论文用国际象棋实验证明了这一点：将数据格式设为“最终棋盘 | 走法序列”（逆向）的模型，其表观复杂度远高于“走法序列 | 最终棋盘”（正向）的模型，并且在需要深度理解棋局的下游任务（如棋局评估）上表现显著更好。
约束迫使AI放弃捷径，走上抽象之路。
未来启示：从“模型中心”转向“数据中心”
“表观复杂度”的提出，标志着AI研发范式的根本转变。过去我们迷信更大的模型、更强的算力；未来，如何选择、生成和改造高表观复杂度的数据，将成为提升AI能力的关键。这为合成数据、课程学习、数据增强等技术提供了坚实的理论背书。
更重要的是，它让我们重新思考智能的本质。智能或许并非源于对世界的完整模拟，而是源于在资源受限的条件下，对世界深层结构的高效提取与内化。正如论文所揭示的：无限算力下的最优解是“记住一切”，而有限算力下的最优解才是“理解一切”。