心理学家长期以来一直在研究绑定问题：人类如何将一个对象的特征识别为与该对象绑定，而不是与其他对象绑定？
现代大模型LM毫不费力地解决了这些任务。
当给出 "绿色正方形 "和 "蓝色圆形 "的上下文时，语言模型如何绑定相应的形状和颜色？ 通过因果实验，我们发现足够大的语言模型可以学习简单的结构表征来进行绑定！
要正确使用上下文信息，语言模型（LM）必须将实体与属性绑定在一起。例如，如果上下文中描述了一个 "绿色正方形 "和一个 "蓝色圆形"，语言模型必须将形状与它们各自的颜色绑定。
我们分析了 LM 表示法并确定了绑定 ID 机制：这是一种解决绑定问题的通用机制。
我们在 Pythia 和 LLaMA 系列的每个足够大的模型中都观察到了这种机制。
LLaMA 系列中的每一个足够大的模型中都能观察到。通过因果干预，我们证明了 LM 的内部激活是通过将绑定 ID 向量附加到相应的实体和属性来表示绑定信息的属性。
我们进一步证明，绑定 ID 向量形成了一个连续的子空间，其中绑定 ID 向量之间的距离反映了它们的可识别性。
总之，我们的研究结果揭示了在 LM 中表示上下文中的符号知识的可解释策略，这为理解大规模 LM 中的一般上下文推理迈出了一步。
论文点击标题
相关：语言模型中的实体跟踪
跟踪实体的状态如何随着文本或对话的展开而变化，是理解话语的一个关键前提。然而，有关大型语言模型（LLM）跟踪话语实体的能力的系统研究还很少。
在这项工作中，我们提出了一个任务，探究语言模型能在多大程度上根据对初始状态的英语描述和一系列状态变化操作推断出实体的最终状态。
我们利用这个任务首先研究了 Flan-T5、GPT-3 和 GPT-3.5 是否能跟踪实体的状态，结果发现，只有在大量代码上经过预训练的 GPT-3.5 模型才能表现出这种能力。
然后，我们通过在多个训练/评估分区上对 T5 进行微调，研究主要在文本上进行预训练的较小模型能否学会跟踪实体。
虽然更复杂的拆分会导致性能下降，但我们发现，即使在不同的实体集上进行评估时，经过微调的模型也能完成非难的实体跟踪。
综上所述，这些结果表明，语言模型可以学习跟踪实体，但仅在文本语料库上进行预训练并不能使这种能力浮出水面。