语言学家:ChatGPT与人类完全不同


大型语言模型(简称LLM)输出的词语自然得听起来像人说的,我们应该如何解释这种机制呢?

这些模型是建立在统计学之上的。
它们的工作方式是在大量的文本中寻找模式,然后利用这些模式来猜测一串词中的下一个词应该是什么。

它们擅长模仿,不善于处理事实。

为什么?

LLM没有机会接触到现实世界的、具体的参照物。这使得LLM变得诱人、无道德,是柏拉图式的扯淡者的理想,正如哲学家哈里-法兰克福(On Bullshit)所定义的术语。法兰克福认为,胡说八道者比骗子更糟糕。他们并不关心某件事情是真的还是假的。他们只关心修辞的力量--如果听众或读者被说服了。

章鱼案例
假设A和B,都是英语流利的人,独立地滞留在两个无人居住的岛屿上。他们很快发现,以前来过这些岛屿的人留下了电报,他们可以通过水下电缆相互交流。A和B开始愉快地给对方输入信息。

同时,O,一只无法访问或观察这两座岛屿的超智能深海章鱼,发现了一种方法,可以接入水下电缆,偷听A和B的对话。O最初对英语一无所知,但非常擅长检测统计模式。随着时间的推移,O学会了非常准确地预测B将如何回应A的每一句话。

很快,这只章鱼就进入了对话,并开始冒充B,回复A。这个诡计在一段时间内奏效,A相信O和她以及B一样在交流--有意义和意图。然后有一天,A叫了起来。"我正被一只愤怒的熊攻击。帮我想想如何保护自己。我有一些棍子。"冒充B的章鱼未能提供帮助。它怎么可能成功呢?章鱼没有参照物,不知道熊或棍子是什么。没有办法给出相关的指示,比如去拿一些椰子和绳子,然后造一个弹射器。A遇到了麻烦,感觉被骗了。章鱼被揭露是一个骗子。

单词的形式和含义
请不要混淆单词形式和含义。

随意将语言形式的序列拼接在一起……根据关于它们如何组合的概率信息,但不涉及任何意义。

语言不需要指代自身以外的任何事物。
世界上的指称、真实的事物和想法,如椰子和心碎,都是产生意义所必需的。这个想法已经过时,是“某种标准的 20 世纪语言哲学立场”。

分布语义学:一个词的含义只是对其出现的上下文的描述。

如果一个人赞同分布语义理论,LLM 就不是章鱼;随机鹦鹉不只是愚蠢地吐出单词。我们不需要陷入“意义完全映射到世界”的古板古板的思维模式。

LLM 处理数十亿个单词。这项技术带来了他所谓的“相变”。

人类发现了金属加工,这太棒了。然后几百年过去了。然后人类想出了如何利用蒸汽动力,我们在语言方面处于相似的时刻。

LLM 具有足够的革命性,可以改变我们对语言本身的理解。
(像chatGPT这样大型语言模型LLM其实就是一个官腔十足的形式主义)