为何大模型无法像人那样理解概念?
一个思想实验说明了为什么像 ChatGPT 这样的大模型 LLM 无法像人类那样 "理解 "概念:
- 想象一下,你用大量纯中文文本训练 LLM。
- 再想象一下,你用大量纯英文文本训练同一个 LLM。
重要的是,LLM 从未看到过任何中英文之间的翻译。
我们对 大模型的了解表明,大模型无法将英语中的 "狗 "概念与中文中的 "狗 "概念联系起来。这是因为大模型只从词与词之间的关联来理解概念。
由于数据中的英文单词和中文单词之间没有关联,因此无法将这些概念联系起来。
人类很容易意识到,英语中的 "狗 "概念与中文中的 "狗 "概念是相同的。
这是因为人类是根据词语与物理世界的关系来处理词语的。
因此,"理解 "对于人类和 大语言模型LLM 的含义肯定是完全不同的。