这篇论文探讨了可以根据自由能原理（FEP）来理解自然语言语法的结构和规则的想法。 FEP 是理论神经科学的一个概念，它表明包括大脑在内的生物系统通过降低内部表征的复杂性来匹配感官输入，从而尽量减少意外或不可预测性。
整合了两个传统上独立的研究领域（生成语法和主动推理），为人类语言提出了一个新的设计原则：图灵-乔姆斯基压缩。
什么是自由能
自由能是一个热力学概念,定义为在一个系统的温度和压力保持不变时,该系统可以做功的最大能量。它是系统内部能量的一部分,包括内能和熵变的影响。具体来说:
- 自由能是一个状态函数,表示系统在某一状态下可以做的最大功。
- 自由能变化(ΔG)决定了一个化学反应是否自发进行。ΔG<0表示反应是放能的(exergonic)；ΔG>0表示反应是吸能的(endergonic)。
- 生物系统中,自由能变化与ATP水解、氧化还原反应等过程密切相关,是生命活动的能量基础。
因此,free-energy 在这里指的是自由能,而不是免费能量的意思。它是一个热力学概念,描述了系统可以做功的能力。
什么是自由能原理（FEP：free-energy principle）：
FEP 被提议作为理解各种认知功能（包括语言）的统一框架。该原理指出，包括大脑在内的生物系统会尽量减少其自由能，这与感官输入的不确定性或意外性有关。
语言和 FEP关系：
作者认为自然语言语法的层次结构不仅是语言进化的产物，而且也符合 FEP。这意味着我们构建句子的方式和语言表达的经济性可以被视为最小化计算复杂性的一种方式。
语言设计中的经济性：
本文讨论了语言设计中“经济性”的概念，它是指语言结构形成尽可能高效的原则。这种效率与自由能的最小化有关。
柯尔莫哥洛夫复杂性：
作者使用柯尔莫哥洛夫复杂性的概念（指定给定对象所需的计算资源的度量）来估计句法过程的复杂性。他们建议优先考虑尽量减少算法复杂性的语法操作，这与 FEP 一致。
图灵-乔姆斯基压缩（TCC）：
文章介绍了图灵-乔姆斯基压缩的原理，这是一种与 FEP 一致的语言设计原理。 TCC 建议尽量减少算法复杂性的句法推导。
句法移动和最小搜索：
作者讨论了句法移动和最小搜索（句法理论中的过程）如何用 FEP 来理解，因为它们涉及句法结构的有效计算。
未来研究：本文最后提出了未来研究的方向，包括需要更广泛的计算模型以及探索与语法相关的 FEP。
重点：Kolmogorov复杂度和Turing-Chomsky压缩
文章中提到的Kolmogorov复杂度和Turing-Chomsky压缩（TCC）是用于解释自然语言语法结构如何与自由能原理（Free-Energy Principle, FEP）相一致的概念工具。以下是这些概念在语言设计中的具体体现：
- Kolmogorov复杂度：这是一种衡量模式或数据复杂性的度量，它是能够生成给定数据模式的最短程序的长度。在语言设计的背景下，Kolmogorov复杂度被用来估计语法结构的复杂性。文章中提出，自然语言的语法操作倾向于最小化这种复杂度，因为这样可以减少认知处理的计算负担。
- Turing-Chomsky压缩（TCC）：这是一个由文章作者提出的新原则，它结合了艾伦·图灵（Alan Turing）关于计算的理论（Turing）和诺姆·乔姆斯基（Noam Chomsky）关于语言的生成能力的观点（Chomsky）。TCC原则认为，在语法工作空间中对可访问对象执行的操作（如合并或移动）会生成结构，这些结构的Kolmogorov复杂度低于其他选项时，这种操作就被认为是经济的。换句话说，TCC鼓励生成那些能够被高效压缩的语法结构。
文章中通过几个例子展示了如何使用Lempel-Ziv算法（一种估计Kolmogorov复杂度的方法）来评估不同的语法结构的复杂性。例如，文章讨论了疑问句的形成、关系从句的结构距离，以及多重疑问句的词序问题。在这些情况下，更经济的语法结构（即那些能够生成较低Kolmogorov复杂度的结构）被认为更可取。
通过这种方式，文章试图将自然语言的语法结构与自由能原理联系起来，提出语言的设计和使用遵循最小化认知和计算复杂度的原则。这种方法为理解语言的生物学和认知基础提供了一个新的视角，并可能对语言习得、语言处理和语言演化的研究产生影响。
“材料中原子的集体行为（例如，晶格）反映了耗散结构的原理。因此，我们周围的一切都是一个耗散结构，遵循贝叶斯推理，预测编码和自由能原理。“--米卡·布伦伯格 |