大型语言模型（简称LLM）输出的词语自然得听起来像人说的，我们应该如何解释这种机制呢？
这些模型是建立在统计学之上的。
它们的工作方式是在大量的文本中寻找模式，然后利用这些模式来猜测一串词中的下一个词应该是什么。
它们擅长模仿，不善于处理事实。
为什么？
LLM没有机会接触到现实世界的、具体的参照物。这使得LLM变得诱人、无道德，是柏拉图式的扯淡者的理想，正如哲学家哈里-法兰克福（On Bullshit）所定义的术语。法兰克福认为，胡说八道者比骗子更糟糕。他们并不关心某件事情是真的还是假的。他们只关心修辞的力量--如果听众或读者被说服了。
章鱼案例
假设A和B，都是英语流利的人，独立地滞留在两个无人居住的岛屿上。他们很快发现，以前来过这些岛屿的人留下了电报，他们可以通过水下电缆相互交流。A和B开始愉快地给对方输入信息。
同时，O，一只无法访问或观察这两座岛屿的超智能深海章鱼，发现了一种方法，可以接入水下电缆，偷听A和B的对话。O最初对英语一无所知，但非常擅长检测统计模式。随着时间的推移，O学会了非常准确地预测B将如何回应A的每一句话。
很快，这只章鱼就进入了对话，并开始冒充B，回复A。这个诡计在一段时间内奏效，A相信O和她以及B一样在交流--有意义和意图。然后有一天，A叫了起来。"我正被一只愤怒的熊攻击。帮我想想如何保护自己。我有一些棍子。"冒充B的章鱼未能提供帮助。它怎么可能成功呢？章鱼没有参照物，不知道熊或棍子是什么。没有办法给出相关的指示，比如去拿一些椰子和绳子，然后造一个弹射器。A遇到了麻烦，感觉被骗了。章鱼被揭露是一个骗子。
单词的形式和含义
请不要混淆单词形式和含义。
随意将语言形式的序列拼接在一起……根据关于它们如何组合的概率信息，但不涉及任何意义。
语言不需要指代自身以外的任何事物。
世界上的指称、真实的事物和想法，如椰子和心碎，都是产生意义所必需的。这个想法已经过时，是“某种标准的 20 世纪语言哲学立场”。
分布语义学：一个词的含义只是对其出现的上下文的描述。
如果一个人赞同分布语义理论，LLM 就不是章鱼；随机鹦鹉不只是愚蠢地吐出单词。我们不需要陷入“意义完全映射到世界”的古板古板的思维模式。
LLM 处理数十亿个单词。这项技术带来了他所谓的“相变”。
人类发现了金属加工，这太棒了。然后几百年过去了。然后人类想出了如何利用蒸汽动力，我们在语言方面处于相似的时刻。
LLM 具有足够的革命性，可以改变我们对语言本身的理解。
（像chatGPT这样大型语言模型LLM其实就是一个官腔十足的形式主义）