为何大模型无法像人那样理解概念?

banq

一个思想实验说明了为什么像 ChatGPT 这样的大模型 LLM 无法像人类那样 "理解 "概念:

  • 想象一下,你用大量纯中文文本训练 LLM。
  • 再想象一下,你用大量纯英文文本训练同一个 LLM。

重要的是,LLM 从未看到过任何中英文之间的翻译。

我们对 大模型的了解表明,大模型无法将英语中的 "狗 "概念与中文中的 "狗 "概念联系起来。这是因为大模型只从词与词之间的关联来理解概念。

由于数据中的英文单词和中文单词之间没有关联,因此无法将这些概念联系起来。

人类很容易意识到,英语中的 "狗 "概念与中文中的 "狗 "概念是相同的。
这是因为人类是根据词语与物理世界的关系来处理词语的

因此,"理解 "对于人类和 大语言模型LLM 的含义肯定是完全不同的。