元学习:人类与大模型比较建模


本文介绍了一种心智模型的概念模型,该模型可以解释心智的关键特征,例如代理、学习、思考和内省。该模型的关键组成部分包括:

  • 能够理解和产生动作的动作模型,类似于语言模型理解和产生语言的方式。
  • 提供来自感官的信息的感官输入。
  • 代表身体需求和心理状态的情绪状态模块,可以过滤近期记忆中存储的内容。
  • 近期记忆模块存储着重要事件和想法,并以情绪状态作为过滤器。
  • 代理机制,其中行动模型可以独立启动行动。
  • 反馈回路允许将动作模型的输出反馈作为输入,从而实现预测、创造力、联想和解决问题等复杂的思维过程。

作者认为,这种心智模型可以表现出类似人类的行为,包括思考和内省的能力,同时也承认关于数字心智是否真的具有意识或是否像人类一样具有主观体验的争论仍在继续。

详细摘要:
本文解释了思维如何运作的简单模型。基于人工智能的语言模型的成功激励着我去展望数字思维的未来。我将介绍一个概念性数据流架构,它可以解释思维的几个关键特征:发起行动(代理)、学习、思考和自省的能力。我将从高层次描述该模型,但我也会尝试将其锚定在现有的人工智能系统中,以证明如今构建这样的模型是现实的。

我可以想象心智模型有两个目标:理解人类大脑,或者创造数字心智。致力于建立一种可以解释人类思维方式的思维模型。

关于数字思维是否真的具有意识,是否像人类一样具有情感或主观体验,仍然存在很多争论。
我相信它们可以。

然而,我并不想专注于这场争论,而是想在一个假设的世界里工作,在这个世界中,数字思维确实能够拥有人类思维的所有内部体验。

  • 如果我错了,那么这篇文章就只是关于行为的蓝图集合;
  • 如果我是对的,那么这篇文章就更有意义了:希望它能在创造数字思维方面取得实际进展,并能让我们深入了解我们自己的大脑是如何运作的。

1、模型目标
我正在尝试制作一个可以像人类一样行动的系统。意识是一种个人动机,但我不会把它作为目标,因为它很难定义,而且人们对此往往意见不一。相反,本文将探讨思维的一些方面,这些方面虽然仍然具有挑战性,但更容易讨论。
具体来说,我正在尝试构建一个具有以下功能的系统:

  • 代理Agency
  • 元学习
  • 思维
  • 内省(向内求))

2、模型
我从同时工作的模块之间的数据流的角度来思考思维。如果你的计算机配有 GPU、多核 CPU 和摄像头,那么每个模块(GPU、CPU、摄像头)都可以并行完成自己的工作。此类系统中的模块可以相互通信,但它们始终可以处理收到的信息。

人类大脑是令人难以置信的并行机器。神经元不会相互等待,而是在收到信号后立即做出反应。因此,将大脑视为一个巨大的神经网络是有道理的——我们可以将其架构视为连续并行运行的模块之间的数据流图,从而更好地理解它。

2.1行动模型
这个模型的核心概念是我所说的动作模型。这个名字是语言模型的自然演变,语言模型是理解并能产生语言的系统。因此,动作模型理解并能产生动作。

你可以简单地这样看待 LLM:
context -> LLM -> next_token

类似地,动作模型的工作原理如下:
context -> Action Model -> next_action

从概念上讲,我认为“动作Action”就像是词语的超集。

  • 如果我想说“你好”,那么说你好 就是一种动作Action。
  • 如果我想走到厨房,那也是一种动作。
  • 如果我想思考生命的意义,思考也是一种动作。

2.2高层模型


图示说明:

  • 每个箭头代表一个信息流。
  • 实线箭头是最重要的信息流。


“感官输入Sensory"提供我们感知到的一切,包括视觉、味觉、温度、压力等等

  • 视觉系统可以快速为我们提供对所见事物的一些分析,因此我们倾向于感知视觉对象(“脸”)而不是原始图像(“脸的像素”)。

"运动控制motor control":

  • 将其视为接收概念向量(例如,“挠左耳”);
  • 它可以进行一些处理,将高级命令转换为一系列单独的肌肉命令:当你很好地记住一首钢琴曲时,感觉好像你的手指比你更了解这首歌,我相信这表明运动控制模块内发生了某种学习。

  "语言编码器":可以翻译传入的信号
  • 看到书面文字、听到口头文字、看到手语,将它们转换成系统可以理解的向量空间。

由于我设想动作模型可以是语言模型的略微概括,因此我预计这样的动作模型可以自然地在自身中融入一种将词汇概念标准化为一致向量的方法。

语言解码器擅长将这些概念向量转换回词汇动作,例如大声说出一个句子或写下一些东西。

"情绪状态模块emotional state"做很多工作:代表我们所有的身体需求

  • 感觉饥饿或疲倦,以及
  • 我们的精神状态,例如感觉兴高采烈、沮丧、怀旧或好奇。

 
 在这个模型中,我们的情绪状态可以根据行动模型的输出而改变,它还会将输出过滤到近期记忆recent memory 模块中。
  
在"近期记忆recent memory"中存储的内容有两个过滤器:
  1. 首先,当行为模型接收到大量传入信息时,它会有效地关注某些信息而不是其他信息。与语言模型一样,未使用的信息在经过后面的层时基本上会从网络中消失;
  2. 第二个过滤器基于我们的情绪状态。当我们感到无聊时,发生的事情并不重要,也不会被标记为长期记忆。当我们经历情绪高峰时,会保留更多更详细的数据。

我们的日常生活往往介于这两个极端之间。

" 目标"不是一个计算模块,而是来自动作模型并反馈到自身的数据反馈回路的一部分。

  • 动作模型接收大量数据,我们可以将这些数据视为一个巨大的向量,并同样产生另一个大向量。
  • 这些大向量可能在新的大脑中以“未格式化”的形式开始,这意味着一个人可以在成长过程中学会使用该空间,而不是将向量数据视为预先分配给特定用途。
  • 在向量表示中,有空间来学习/定义特定变量,我们学习的最重要的变量之一就是我们当前的目标。

正如单词可以被向量捕获一样,我们心中的动作或(密切相关的)目标也可以被向量捕获。

在这个思维模型中,我们当前的目标从根本上决定了我们如何过滤传入的信息,并且可以由动作模型本身进行编辑。
我们甚至可能有一个有效的目标堆栈,一个小型数据结构,我们可以将新目标推入其中,并在完成它们时将其弹出。

或者,如果你像我一样,一个有限大小的堆栈,其中的任务经常被遗忘,因为我一直在想着要做的新事情。

这就是心智模型的要点。在接下来的几节中,我将解释该模型如何提供代理、学习、思考和内省。

3、代理
大型语言模型LLM没有代理,因为它只能对输入做出反应;它不能独立采取行动。

可以为任何类似 LLM 的系统增加了代理:想象一个接收两个交织输入流的模型。

  • 一个输入流是与模型交谈的人,
  • 另一个输入流是模型能够看到自己的输出。

当前的 LLM 可以看到这两个流,但它们的设置为一次只有一个人可以说话(LLM 或用户中任何一个)

现在,LLM 可以自行选择在说话和倾听模式之间来回切换。

  • 当 LLM 想要倾听时,它可以<listening>连续多次产生一个特殊 token,直到它想要说些什么。
  • 当它想要说话时,它会输出它想说的内容而不是 token <listening>。

通过这种方式,模型可以连续运行,同时实现有意义的双向对话,包括让对方说话者停顿。

它可以随时随地独立地说出自己想说的话。这是代理的词汇版本,它完全适用于上面概述的思维模型,该模型确实既接收感官输入,也接收来自自身输出的反馈。

4、记忆与学习

  • 第一代 LLM 会在上下文窗口填满后完全忘记每个人说了什么。
  • 在我写这篇文章的时候,一些系统(如 ChatGPT)已经得到增强,可以“记住”某些事实。

当今 LLM“学习”的唯一常见方法是实现一个额外的系统来存储对话数据,并在我们认为可能有用时有选择地将这些数据插入提示中(插值)。

这与我们人类体验生活的方式不同,例如,

  • 当你大声说话时,你不会觉得你的大脑选择了 100 个候选单词中的一个子集呈现给你,然后你从中选择。
  • 相反,你觉得你所有的口语词汇(学到的东西)对你来说都是可用的,毫不费力,未经过滤。

我们有机神经元的某些内部数据会根据发生在我们身上的事情进行更新。在心智模型中,这相当于根据经验更新权重。

为了解释这个心智模型中的记忆概念,我将把记忆分为两大类:

  1. 故事记忆是对你身上发生的一切事情的记忆;
  2. 动作记忆是根据正面或负面的反馈对你的行为方式进行的修改。

如果一个陌生人对你说:“嘿,你绝对可以相信我!”那么你可以立即存储你生活中的这个叙述元素:这个人说了这些话。

那么,他们说的是真的吗?
那是另一回事,你可能应该根据更多的证据来决定。

他们说过这些话这一事实可以安全地进入故事记忆,而无需核实事实。
他们值得信任的想法是一个不确定的说法,我们可以保留它,标记为“可疑”,直到另行通知。有了更多的反馈,我们可以选择对这个人采取信任或不信任的行动,这将进入我们的行动记忆。

当我们做出决定时,直到后来某个时间点才会发现这个决定是否正确。想象一下下棋时走一步。如果两步之后对手突然将你击败,你可能会回过头来意识到这一步是错误的。

这是延迟反馈决定质量的一个例子。当你有延迟反馈时,如果你以后能强化好的决定,或者阻止错误重复发生,这将很有用。(banq注:抱怨后悔有时有用,但是对人体健康伤害最大,不可撤回的决定 不用去后悔总结,因为决定的效果取决于上下文,尽人事就可以了)

拥有单独的近期记忆模块的第三个动机是,过去几个小时的详细记忆比你四岁时某个随机的几个小时的同样详细的记忆更有价值。故事记忆的有用性会随着时间的推移而迅速下降,并且需要过滤存储的内容,因为与动作记忆的有限容量相比,感官输入的数量非常多。因为近期记忆往往更有用,所以有一个滚动的准确记忆窗口很方便,这些记忆会随着时间的流逝而被遗忘。

(banq注:老年脑 老年痴呆 是容易丧失近期记忆开始,但是远期记忆,过去很久远的事情反而记得,让陪伴亲人有点糊涂)

记忆类型的细分可能解释了人类记忆的这些特点:

  • 我们的记忆容量似乎很小,我们几乎不用付出任何努力或特别注意就能记住所记住的事情。乔治·米勒曾研究过,大多数人可以快速记住任意列表中的大约七项。这种记忆可能适合行动模型本身的反馈向量。只要我们对其他事情想得足够多,这种记忆就会消失。
  • 不同的人拥有不同的近期记忆容量,但通常情况下,你会记得今天早上吃的早餐,但记不住几天前吃的早餐,忽略可预测性(例如,如果你作弊,每天早餐都吃同样的东西)。这种类型的记忆与近期记忆模块相匹配。
  • 长期记忆似乎没有预先确定的时间限制,但它们确实会随着时间的推移而消退。这种模式与 LLM 中的知识一致,因此可以与行动模型有效记忆事物的方式相匹配——没有时间限制,但能够随着时间的推移而消退,尤其是在长时间不参考的情况下。

人类大脑似乎为长期记忆和相当于行动模型的记忆分别设置了不同的位置。失忆症病例表明:人们可以忘记大部分过去的事情,但其他方面却表现正常。如果我们的记忆和行为依赖于同一组神经元,那么这是不可能的。然而,在上面的思维模型中,我让长期记忆隐含地成为行动模型的一部分,因为这实际上是语言模型当前存储其记忆版本的方式。

心智模型通过情绪状态过滤记忆,解释了

  • 情绪激动时刻记忆的清晰度
  • 以及平淡无奇事件记忆的缺失。

为了让模型记住某件事,它必须既是

此外,情绪状态是行动模型上下文context的一部分,因此目标会受到心智感受的影响,而心智关注的事物同样会受到感受的影响。

例如,如果心智心情愉快,它更有可能欣赏对话的积极方面;如果心智心情不好,它更有可能注意到对话可能被视为评判性的观点。
”情绪”一词的含义很广,包括快乐、痛苦、无聊、幸福、沮丧以及任何与非纯理性感觉相关的心理状态组合。

类似于简单的快乐或痛苦——可以看作是一个相对快速的反馈循环,用于判断最近的动作记忆对于学习来说是好的还是坏的。

元学习(Meta-learning)
另一种学习发生在更高层次,需要长期思考。

例如,假设你写了一本书的初稿,然后将这本书交给一些测试读者征求反馈。你可以将此视为一个过程,从采取的第一步行动(写下新书的第一个字)到收到有关该行动的有用反馈,这需要数月时间。近期记忆不再是这种学习的有效载体。

人类学习理性行为是作为由触发器启动的动作序列。
例如,当我想写一个已经在我脑海中形成的想法时,我会录制大纲的语音备忘录,或者在谷歌文档中输入草稿。

这是我个人过程的一部分。触发器是

  • (a) 想要写一篇文章,以及
  • (b) 不需要做更多研究的结合,也就是说,我自信我已经准备好写作了。

从高层次来看,动作序列是制定大纲。

(banq注:元学习 类似 元认知比尔盖茨:元认知将是AI下一个前沿 )

现在假设我得到了关于我的动作序列的反馈。例如,也许我手机上的录音机应用程序由于错误而删除了一个文件。然后我会在心里记下使用不同的录音机应用程序。

这种学习不是发生在神经网络中权重更新的层面上。相反,这是一个更概念化的想法,最好被视为覆盖键值对:
  (I want to record an outline) -> (open voice app A)

通过重新使用相同的键并替换值,如下所示:

(I want to record an outline)->(open voice app B)

我之所以这样表述,是因为人类的大脑似乎不擅长抹去过去的记忆,而是能够替换与预先存在的键相关联的值。在这种情况下,键key是启动操作的触发器。

人类和人工智能模型中的键值key-value记忆
想象一下有咬指甲等坏习惯的人。制定一个简单地停止这种习惯的策略是出了名的困难。(banq注:服用NAC补剂可以改变)

但是,如果你用其他东西代替这个坏习惯,你就更有可能成功。

例如,你可以注意到你最有可能咬指甲的情况 - 例如坐在教室里有点无聊 - 然后让自己在相同的环境中采取不同的行动。例如,你可以使用指尖钳来代替咬指甲。

这是一个以人为本的例子:

  • 键key删除很难(“键删除”在这里就像忽略触发器 -在教室里无聊- 这往往会引发你的坏习惯),
  • 值value更新是可能的(“值更新”意味着触发器,在教室里无聊,对你来说仍然有意义,但现在你的反应已经更新)。

现代语言模型的内部机制类似。它们从根本上依赖于基于键值查找的转换器模块。

基于转换器的模型学会提出编码为向量(特定但在一定程度上耐噪的数字列表)的内部查询(键查找)。一旦模型学会了查找某个键,就很难忘记。要改变模型的行为,似乎更容易改变键指向的内容,而不是让模型改变以使其完全忽略触发器。

这两种“仅加add-only”机制之间的相似性可能并非巧合;也许大脑内部使用类似于键值对的东西,就像大模型的 transformer 一样。

心智模型如何进行元学习
元学习可以通过以下几种方式在心智模型中发生:

  • 规划:当您了解自己将来想要采取的新行为时,您可以对最终的行动进行明确的规划。例如,您可以在日历上记下某件事,或者写下今天要做的事情的清单。在这种情况下,模型可以简单地捕捉使用日历或写清单的行为,而这些行为的更高层次的目标只能由神经权重间接捕捉。(banq注:规划是元认知重要能力,将是下一次AI前言,目前无法做到:比尔盖茨:元认知将是AI下一个前沿 )
  • 联想:通常你不知道什么时候需要使用新知识,例如学习用新语言问路。在这种情况下,如果你能根据正确的上下文回忆起一个相对未练习过的动作,这将很有用。该模型可以通过以下方式解释这一点:当你提前学习时,你会了解未来行动将有用的背景,这样未来的背景上下文就可以与知识联系起来。行动本身可以通过练习(如语言学习)或理解(如阅读操作指南)尽可能好地储存起来。如何使用大模型实现突破性创新研究? 
  • 解决问题:除了规划或接收知识外,还有其他类型的元学习。如果你面临一个你从未解决过的问题,而且你不知道在哪里查找答案(或者不想查找),那么你可以尝试在头脑中模拟问题,并在精神上考虑潜在的解决方案。如果你想到了一个你喜欢的想法,这就是它自己的学习方式。

最后一种学习是基于思考的,所以现在是转换话题的好时机——让我们看看心智模型如何捕捉复杂的思想。

5、思考
心智模型将思考视为一个内部反馈循环。行动模型的部分输出被再次接收,作为下一个循环的输入。(https://www.jdon.com/66107.html

在心智模型中,每个要点都可能是通过行动模型进行的一次思想迭代。

思想的本质
一种思维模式是预测未来,包括其他代理的未来行动。这在游戏环境中很有用,但在许多其他场景中也很有用。例如,如果你正在与某人谈判(例如与年幼的孩子一起应对睡前例行事务的棘手情况),预测另一个代理将如何对不同沟通方式做出反应是很有用的。

另一种思维模式是创造力,即你想出新的想法。例如,写小说、写诗、画画或创作新音乐。在这种思维模式下,我觉得创造力有一个总体方向,我们交替尝试发现正在创作的作品的各个部分,或者我们知道自己想要实现什么,然后努力将这个目标转化为现实,比如画出我们心中清晰的图像。

与上述两种思维相关的一种思维是 解决问题,即我们想要实现某些目标,但不知道前进的最佳方式。

6、自省(向内求
内省是对自己内心体验的认识——对自己的想法和感受。如果我们在下棋,你走了一步棋,你可以解释这一步背后的想法。

思想和感觉可以在没有意识的情况下存在。没有内省的思考的一个例子:狗可以通过思考来解决问题,比如如何得到它们想要的食物。但我也猜想它们不会思考自己的想法;这就是没有内省的思考的一个例子。

(banq注:怨天怨地、怨环境、怨上帝,投错胎,生长在错误原生家庭、妈宝、谨慎保守等等都是向外求,缺乏自省的表现)

7、意识
“意识”这个词本身非常模糊。意识不过是特征的集合,更应该关注更容易定义的具体特征。

详细点击标题