大语言模型是在玩文字游戏?还是有人类意向性?


该文作者探讨了语言模型 (LLM) 可能在多个层面上具有意向性和代理的观点,质疑”机器人只是在玩聊天游戏“这样一个简单观点。

通过下棋LLM的例子,作者认为LLM可以归因于言外意向性。

作者认为,虽然LLM本身可能在玩“聊天游戏”,但它可能会召唤一个带有自己意向性的拟像。这种分析强调了LLM超越其表面行为的潜在复杂性和意向性。

原文摘要如下,点击标题:

受 Keith Frankish最近在 YouTube 上对 LLM 意向性的直播讨论的启发,我想分享一个特别的想法,我不确定这个想法是否得到了足够广泛的认可,但我认为它提供了一个有价值的视角,让我们可以从中思考 LLM 以及什么样的意向性他们可能有。这不是我自己的原创想法——至少我对此的一些思考是在 LessWrong 上阅读有关Waluigi 问题的文章时引发的。

在这篇文章中,我将论证大语言模型可能具有与我们很相似的意向性,但请理解,我是在提出一个原则性的观点,而不是为当前大语言模型的能力争辩,因为他们可能还没有达到那个水平。

只有当意向性有助于预测和解释一个系统的行为时,我们才应该赋予它意向性。

我想介绍的基本观点是,LLM 可能在多个层面上具有意向性和能动性。

我还应该指出,我将追随基思(以及丹尼尔-丹尼特等人),假设对意向性的解释论解释。也就是说,只有当意向性有助于预测和解释一个系统的行为时,我们才应该赋予它意向性。除此以外,它是否*真的*有意向性,这并不是我试图回答的问题(而且我认为,在任何情况下,它可能都不是确定的)。

我想介绍的基本观点是,LLM 可能在多个层面上具有意向性和能动性,因此,如果我们将分析局限于一个层面,可能会有所遗漏。

让我们从布莱克-勒莫因(Blake Lemoine)的故事说起,他因为散布谷歌的 LLM LaMDA 是有意识的说法而被谷歌解雇。许多人迅速嘲笑他,指出你可以让 LLM 随心所欲地声称任何事情。声称自己有意识的 LLM 也可以说自己没有意识。

对许多人来说,这就是证据,证明LLM 根本没有稳定的信念(当然是关于他们自己的信念),所以LLM 不可能有意识。

同样,你可以要求一个 LLM 扮演一个人的角色,来支持或反对某个特定的命题,它也会这样做。

据推测,这意味着 LLM 本身对这些问题没有任何看法,只有它可以被要求扮演的角色。
据推测,它不会把角色的意向状态当作自己的意向状态来体验,就像舞台上的人类演员不会把剧中人物的意向状态当作自己的意向状态来体验一样。

我们不需要解释更高层面的意向性?
Keith 认为:我们不应该将 LLM 的言外意向性或事后意向性归咎于LLM,因为我们这样做不会获得任何好处——“聊天游戏”分析就足够了。
我们不应该将意向性归因于这样做没有帮助的地方,但我不明白为什么在上述情况下它没有帮助。

如果需要知道国际象棋棋手可能在国际象棋游戏中可能想要下什么棋。通过将其视为具有国际象棋棋手意向性的代理,我可以掌握它会做什么,而且我不知道在不采取这样的立场的情况下如何能够做到这一点。

只要我们同意对意向性进行解释,这些言外意向性似乎是不可或缺的,因此是不可避免的。对于扮演治疗师角色的LLM以及该角色的言后意向性也是如此。

大语言模型行为与人类等社会人的行为完全不同?
我认为不需要达到完全人类水平的 AGI 才能拥有言后意向性。最近的人工智能(例如 Meta 的Cicero )在外交游戏中表现出色,这也表明了这一点。如果您了解《外交》,您就会知道这款游戏就是以明确的言后意向性来执行言语行为。

LLM只是随机鹦鹉,预测下一个标记?
LLM 是黑匣子。我们不知道它们是如何工作的。我们只知道他们被选中做什么。

他们被选为下一个标记的良好预测者,但他们如何实现这一目标仍然悬而未决。

预测人类发出的下一个标记的最佳方法可能是模拟人类。
(注:预测人类下一个标记最好办法不一定是模拟人类,也许LLM自己独特的预测方法超过人类,这个前提条件不成立,下一句就只是推测了,不是推理。)
如果未来最好的LLM确实在做类似模拟人类的事情,那么为什么他们不应该拥有人类的所有意向状态?

LLM没有关于世界的感官信息流——他们拥有的只是文本,所以他们不能像我们那样对世界有意向性?
我们的大脑也没有原始的感觉流——它们拥有的只是神经冲动。从这些神经冲动中,它们经过进化和发展过程的训练,构建了一个世界模型。

我认为关注所有LLM看到的都是文本这一事实有点像关注所有大脑如何看到神经冲动。
用于训练LLM的数据量之大似乎足以让他们对世界有像我们通过神经冲动所获得的那样丰富的理解。
当然,这不是同一件事,但对我来说,这足以证实他们的意向性。
按照这种观点,所有人类文明都或多或少地被认为是产生他们所接受的文本“神经冲动”的感觉器官。

我认为这让他们和我们一样接触现实世界。我们通过感觉器官发送的神经冲动来感知现实世界,而他们通过感觉器官发送的文本比特流来感知现实世界。

我们学习将这种神经冲动流组装成丰富的感觉和知觉模型以及世界本身,并且他们对文本流也做了同样的事情。

LLM是被动的,只对提示做出反应,从不立即采取行动?
使用 AutoGPT!这是一个用相对较小且简单的代码封装 ChatGPT 的系统,能够自主制定计划并执行它们


Hacker News 上的讨论

  • 一位评论者认为 LLM 不可能有意向性,因为它们是仅处理令牌的无状态函数,将“意向性”归因于无状态函数似乎并不正确,即使该函数能够对国际象棋的某些方面进行建模,否则,我们就处于需要争论是否所有数学函数有“意向性”?LLM(目前实施的)不可能有意向性。不是因为它们的能力或行为,而是因为我们知道它们是如何工作的(至少在机械上),并且它与“意向性”一词的有用定义不兼容。
  • 这篇文章提供了使用“意向性”这一概念的非常明确的理由:框架有助于我们理解和预测行为。相比之下,将数学函数定义为具有“意向性”并没有用。“意向性”是指有状态的,我们可以进行多轮互动。我们可以将可变状态与更新该状态的函数分开,但这只是处理方式不同。
  • 另一位评论者澄清,哲学中的意向性是指心灵代表事物的力量,并且它以目的为前提。这篇文章重新定义了“意向性”,如果你对机器是否能够拥有“意向性”感兴趣,你不会在解释主义中找到答案,因为这不再是一个有意义的问题。
    “意向性”是以目的论为前提,因此,如果你假定一种排除了目的论的形而上学立场,比如唯物主义,那么,顾名思义,你就不可能有 "aboutness",因此,也就不可能有任何形式的意向性。https://plato.stanford.edu/entries/intentionality/

斯坦福大学对意向性intentionality定义
在哲学中,意向性是思维和心理状态关于、代表或代表事物、属性和事态的能力。

说一个人的心理状态具有意向性,就是说它们是心理表征,或者说它们有内容。

此外,如果说话者为了向他人传达其心理状态的内容而使用某种自然语言的词汇或使用某种形式语言的图画或符号,那么说话者使用的这些人工制品也具有内容或意向性。

“、意向性 "是一个哲学家的词汇:
自从十九世纪最后四分之一弗朗茨-布伦塔诺(Franz Brentano)将这个概念(如果不是这个词本身)引入哲学以来,它就一直被用来指代表象之谜,而所有这些谜题都处于心灵哲学和语言哲学的交界处。

一幅狗的图片、一个专有名词(如 "Fido")、"狗 "这个普通名词或这个词所表达的概念可以指代、代表或代表一种或几种毛茸茸的吠叫动物。

意向性背后的相关概念是对(或关注)对象的精神定向,就好像心灵被解释为一把精神弓,其箭头可以针对不同的目标进行适当的调整。
在中世纪逻辑和哲学中,拉丁词intentio用于当代哲学家和逻辑学家现在所说的“概念”或“内涵”。

比如狗的概念:

  • 字面意思是第一级意向性,适用于个体狗或狗的属性。
  • 它也属于适用于它的各种更高层次的概念,例如是一个概念、是精神的等等。

如果是这样,那么虽然第一层次的概念适用于非精神事物,但更高层次的概念可能是精神上的事情是真的。
请注意,按照这种思维方式,精神事物的真实概念在逻辑上可能比非精神事物的真实概念更复杂。

尽管 "意向性intentionality "一词在当代哲学中的含义与 "intension"(或带 s 的 "intensionality")和 "intention "等词的含义有关,但它不应与这两个词混为一谈。

一方面,在当代英语中,“内涵”意味着“非外延性”,其中外延性和内涵性都是词和句子的逻辑特征。
例如,“有心的生物”和“有肾的生物”具有相同的外延,因为它们适用于同一个体:所有有肾的生物都是有心的生物。

但这两个表达具有不同的含义,因为“心”一词与“肾”一词没有相同的外延,更不用说具有相同的含义。

意图与意向性区别:

  • 另一方面,意图和意向是特定的心理状态,与信念、判断、希望、欲望或恐惧不同,它们在行为的病因学中发挥着独特的作用。
  • 相比之下,意向性是许多不同心理状态的普遍特征:信念、希望、判断、意图、爱和恨都表现出意向性。

事实上,布伦塔诺认为意向性是心灵的标志:二十世纪心灵哲学的大部分内容都是由本文中所谓的“布伦塔诺的第三个论点”塑造的。

意向性概念在分析哲学传统和现象学传统中都发挥着核心作用。正如我们将看到的,一些哲学家甚至声称意向性是所有心理状态的特征。布伦塔诺对意向性的描述相当复杂。其核心是布伦塔诺的“物体故意不存在”的概念。


物体故意不存在
弗朗茨-布伦塔诺(Franz Brentano,1874, 88-89)在他的《从经验角度看心理学》一书中发起了当代关于意向性本质的讨论,其中许多讨论都在他的预料之中:

1、每一种心理现象的特征都是中世纪经院哲学家所谓的“有意对象的不存在”,以及我们可以称之为(尽管并非完全明确)的对内容的指称
(人们默认是从内容去思考,例如人们为何判断”指鹿为马“是错误的,因为从其内容去思考判断,但是如果不从内容呢?你能判断对错吗?真实与否吗?),

2、每一种心理现象本身都包含某种作为物体对象的东西。
这种有意的不存在是心理现象独有的特征。没有任何物理现象表现出类似的东西。因此,我们可以通过说心理现象是那些有意地在其内部包含一个对象的现象来定义它们。

现象学的创始人和布伦塔诺的学生埃德蒙·胡塞尔跟随他的脚步,现象学分析的要点是表明,指向某物的意向性的本质属性并不取决于某些真实的物理目标是否独立于有意行为本身而存在。

胡塞尔对意向性的内在主义解释有两个核心概念:"noema"(复数 "noemata")的概念和 "epoche"(即括弧)或现象学还原的概念。
现象学还原的目的是通过悬置所有关于真实和虚构实体之间差异的天真的预设来帮助理解心理行为的本质。

胡塞尔所说的 "noema "指的是心理行为的内部结构。现象学还原的目的是通过悬置所有关于真实实体与虚构实体之间区别的天真预设,来帮助揭示心理行为的本质。

在上面引用的两段话中,布伦塔诺根据三个不同的论点勾勒出了一个完整的研究方案:

  • 根据第一个论题,意向性现象(如爱、恨、渴望、相信、判断、感知、希望等心理状态所表现的意向性)的构成要素是,这些心理状态指向与它们自身不同的事物。
  • 根据第二个论点,意向性所指向的对象具有布伦塔诺所说的意向性不存在的特性,这是意向性所指向的对象的特征。
  • 根据第三个论点,意向性是心理的标志:所有且唯一的心理状态都表现出意向性。

与布伦塔诺的第三个论题不同,布伦塔诺的前两个论题很难割裂开来。除非接受第二个论题,否则第一个论题很容易被改写成不可接受的。假设意向性的性质决定了,除非有某种东西可以被爱、被恨、被渴望、被相信、被判断、被感知、被希望等等,否则人们就无法例证爱、恨、渴望、相信、判断、感知、希望等等心理状态。(谈到 爱,需要有 被爱的对象,恨也有狠的对象)

如果是这样的话,那么从意向性的本质(如第一个论题所描述的那样)来看,除非有物体对象--意向对象--满足布伦塔诺所说的意向不存在的属性,否则任何东西都不可能表现出意向性

现在,如果完全接受布伦塔诺的前两个论点,就会在哲学逻辑学中提出一个基本的本体论问题。这个问题是:存在这样的意向对象吗?对意向性的应有认识是否迫使我们假定意向对象的本体论范畴?

这个问题在分析哲学中引起了重大分歧。普遍(或正统)的回答是响亮的 "否"。但是,少数重要的哲学家,我称之为 "意向客体 "理论家,主张对这个问题作出积极的回应。根据意向客体论者的观点,既然意向客体不需要存在,那么就存在不存在的事物。他们的批评者则认为,不存在这样的事物。

如何对同一个物体对象有不同的信念?
为啥”指鹿为马“? 明明是一匹马,还要用鹿去命名,对同一个物体竟然有”马“和”鹿“两个不同命名,代表了不同的意向性,李斯指鹿为马,是为了证明自己权威,或者找出忠心者。

戈特洛布·弗雷格(Gottlob Frege,1892)提出的以下难题:

一个人如何能够理性地持有两个关于同一个对象的不同单一信念 ?
在普通上下文中,“信念”一词可以用来表示一个人的状态或该状态的内容。

自弗雷格以来,分析哲学的标准做法一直是通过探究说话者在表达思想或将其归因于他人时所使用的语言的逻辑结构,来研究人类许多思想的意向结构。

弗雷格(1892 年)提供了一个非常有影响力的解决方案:

  • 这个常见的解决方案基于他对英文专名的指称(或 Bedeutung)和意义(或 Sinn)的著名区分。
  • 意义是指指称的呈现方式,大概是一种抽象的东西,既可以被具体的个人实例化,也可以呈现在头脑中,或被头脑所掌握。
  • 这种区别在某种程度上让人想起外延和内涵的区别,与约翰-斯图亚特-密尔(1884 年)关于专名只有指称没有内涵的观点不一致。

根据弗雷格的观点,一个想法或信念可以是关于一个具体的个体(它的指称),但对于思想内容的个性化(或同一性)而言,重要的不是单数术语的指称,而是指称的含义或呈现方式,即抽象的东西。


更多见:


附录
banq注:以上都是基于语言符号的形式思考,关于形式这条思考路线,很多人其实不知道其存在,根本没有意识到:

数学与语文是两门基础课程,可是有多少人最终能明白:数学学的是形式;而语文学的是内容?
(数学里一眼看到的是数字和图形,这些都是符号,没有语文里的文字有意义,所以,如果你是一眼看到就想找意义的思维,学起数学很难,数学是关于非内容,非意义,数学是基于数字和图形的演算,1+1=2 的意义在于整个过程,不是1的内容意义,你只能联想一只羊 一只牛,这又代表你的语文思路)

进一步能用”形式与内容“区分的方式思考问题?

  • 从形式去思考,就是形而上,形式逻辑;
  • 从内容思考,就会陷入特定上下文,后者是很多人不自觉的思考方向。

而ChatGPT无疑是从形式上去推理推测,最终与我们人类在某个上下文内容中达成对话的可能。