大模型内部有一个平面和直边构成的几何对象

banq
论文《大型语言模型中的分类和层次概念的几何形状》研究了如何在大型语言模型 (LLM) 的嵌入空间中表示分类和层次概念。
  • 并且在 Gemma LLM 上验证了这些理论结果，估算了 WordNet 中 957 个层次相关概念的表示。
  • 研究结果揭示了大模型 编码语义中蕴含非常简单的几何结构：具有平面和直边的几何对象
这篇论文由Kiho Park、Yo Joong Choe、Yibo Jiang和Victor Veitch共同撰写，他们来自芝加哥大学的统计系、数据科学研究所和计算机科学系。

两个基本问题：

  • 范畴概念：类别概念（如哺乳动物、鸟类、爬行动物、鱼类）是如何表示的；
  • 层级关系：概念之间的层级关系是如何编码的，例如狗是哺乳动物这一事实是如何表示的。

他们展示了如何扩展线性表示假设来解答这些问题，并发现了一个非常简单的几何结构：

  • 简单的类别概念被表示为单纯几何形，
  • 层级相关的概念在某种意义上是正交的向量，
  • 复杂概念则被表示为由单纯形的直边和面构成的多面体（具有平面和直边的几何对象），反映了层级结构。

论文的主要贡献包括：

  1. 展示了如何从二元概念的方向表示转移到向量表示，从而使用向量运算来组合表示。
  2. 利用这一结果，展示了概念之间的语义层级如何被几何编码为表示之间的正交性。
  3. 构建了类别变量的表示（例如动物），并展示了对于“自然”概念，表示是一个单纯形。
  4. 在Gemma大型语言模型上验证了这些理论结果，通过从WordNet提取概念、估计它们的表示，并展示了表示的几何结构与WordNet的语义层级一致。
论文还提供了一些初步的背景知识，包括大型语言模型的组成部分、概念的形式化定义、因果内积和线性表示等。接着，作者详细讨论了二元概念和层级结构、复杂概念的表示，以及如何将二元特征表示为向量，以及如何使用这些向量表示来构建复杂概念的表示。

最后，论文通过实验验证了理论结果，并讨论了相关工作和未来的研究方向。作者指出，这些结果为理解语言模型中表示空间的结构提供了基础，并为未来的研究提供了新的方向，例如改进对LLM结构的解释，以明确考虑层级语义，以及如何理解内部层的几何结构。

论文的代码已在GitHub上公开，地址为github.com/KihoPark/LLM_Categorical_Hierarchical_Representations。