AI像人类一样通过犯错误学习语言


来自《自然》杂志的文章:人工智能“突破”:神经网络具有类似人类的语言泛化能力。

两位科学家创建了一个人工神经网络,它展示了类似人类的语言概括能力。

人工智能 (AI) 系统在将新学到的单词折叠到现有词汇中并在新的上下文中使用它们方面的表现与人类差不多,这是人类认知的一个关键方面,称为系统泛化。

研究人员对人类和人工智能系统进行了测试:

  • 人类学习和应用这种语言规则的准确率高达 80%。
  • 新的神经网络经过模仿人类错误模式的训练后,取得了与人类非常相似的结果,有时甚至超过了人类的表现。
  • 相比之下,ChatGPT 在完成同样的任务时却非常吃力,根据任务的呈现方式不同,失败率高达 42%-86%。
通过这种方式训练神经网络,可以提高它们的学习效率,减少产生不准确信息等问题。

这一突破试验表明,神经网络可能最终能够以一种之前一直存在争议的方式模拟人类认知。

这项工作于 10 月 25 日发表在《自然》杂志上,它可能会导致机器与人的互动比当今最好的人工智能系统更自然。

语言课程
系统概括表现为人们在新环境中毫不费力地使用新学到的单词的能力:
例如,一旦有人掌握了“photobomb”一词的含义,他们将能够在各种情况下使用它,例如“photobomb 两次”或“photobomb 在 Zoom 通话期间”。同样,理解“猫追狗”这句话的人也无需多加思考就能理解“狗追猫”。

但纽约大学认知计算科学家、该研究的合著者布伦登·莱克 (Brenden Lake) 表示,这种能力并不是神经网络与生俱来的,神经网络是一种模拟人类认知的方法,主导了人工智能研究。

与人类不同的是,神经网络很难使用一个新单词,直到它们接受了许多使用该单词的样本文本的训练。

测试
作者首先测试了 25 人在不同情况下运用新学单词的能力。

研究人员用一种由两类无意义词语组成的伪语言对参与者进行测试,以确保他们是第一次学习这些词语:

  • "dax"、"wif "和 "lug "等 "Primitive原始 "单词代表了 "skip "和 "jump "等基本的具体动作。
  • "bicket"、"kiki "和 "fep "等较为抽象的 "功能 "词则规定了使用和组合基本词汇的规则,从而产生了 "跳三次 "或 "向后跳 "等序列。

研究人员训练参与者将每个基元词与特定颜色的圆圈联系起来:

  • 因此红色圆圈代表 "dax",蓝色圆圈代表 "lug"。
  • 然后,研究人员向参与者展示了基词和功能词的组合,
  • 以及将功能应用于基词时产生的圆圈图案。
例如,
  • "dax fep "用三个红色圆圈表示,
  • "lug fep "用三个蓝色圆圈表示,这表明 fep 表示将一个基元重复三次的抽象规则。
  • 最后,研究人员通过给出基元和函数的复杂组合来测试参与者应用这些抽象规则的能力。
  • 然后,他们必须选择正确的圆圈颜色和数量,并按照适当的顺序排列。

认知基准测试
正如预测的那样,人们在这项任务上表现出色。平均而言,他们在大约 80% 的时间内选择了正确的彩色圆圈组合。当他们确实犯了错误时,研究人员注意到这些错误遵循了反映已知人类偏见的模式。

接下来,研究人员训练一个神经网络来完成类似于向参与者展示的任务,通过对其进行编程以从错误中学习。这种方法允许人工智能在完成每项任务时进行学习,而不是使用静态数据集,这是训练神经网络的标准方法。

为了使神经网络变得像人类一样,作者训练它重现他们在人类测试结果中观察到的错误模式。

当神经网络在新的谜题上进行测试时,它的答案几乎与人类志愿者的答案完全一致,并且在某些情况下超过了他们的表现。

计算机和认知科学家希望通过研究人们如何从小就培养系统概括的技巧,并结合这些发现来构建更强大的神经网络,从而解决这个问题。

德国奥斯纳布吕克大学自然语言处理专家 Elia Bruni 表示,这项研究可以使神经网络成为更高效的学习者。这将减少训练 ChatGPT 等系统所需的大量数据,并最大限度地减少“幻觉”,当人工智能感知到不存在的模式并创建不准确的输出时,就会出现“幻觉”。