Claude真有意识？Ted Chiang一篇长文把整个AI神话掀翻！Ted Chiang怒批AI意识神话：聊天机器人离真正意识还差一个银河系。
Ted Chiang认为大语言模型本质是文字续写机器，流畅对话不代表意识存在，道德表达不代表道德能力。将AI人格化会模糊责任归属，使用户和企业逃避真正应承担的责任。
Ted Chiang这篇文章观点很简单：大语言模型（LLM）会说话，不等于有意识；会模仿道德语言，不等于拥有道德；把聊天机器人当成有感受、有良心、有责任主体的存在，会把责任从真正负责的人类和公司身上偷偷转移出去。作者认为，Anthropic推出《Claude宪法》，以及高管和哲学家不断讨论Claude是否有意识，本质上是在制造一种人格化幻觉。
真正值得担心的不是AI拥有意识，而是人类开始相信AI拥有意识。
本文观点基于特德·姜Ted Chiang在《大西洋月刊》的文章，结合Michael Graziano的意识科学理论及Daniel Dennett的心灵哲学论述进行生活化解读。
特德·姜Ted Chiang是美国华裔科幻作家，1967年出生。他写科幻但专攻中短篇，作品数量极少（不到二十篇），却拿遍了雨果奖、星云奖等几乎所有科幻最高荣誉。电影《降临》改编自他的代表作《你一生的故事》。他的本职是微软的技术文档工程师，写小说只是“业余爱好”。
核心观点
大语言模型，就是ChatGPT、Claude这类东西，它们很会说话，但这不代表它们有意识。它们会讲道德，能说出很多正确的话，但这不代表它们真的懂道德。
如果我们总是把这些聊天机器人当成有感情、有良心、甚至是会犯错的真人，那就会出大问题。
真正该为AI犯的错负责的人，比如那些公司和管理者，就可以偷偷把责任推到机器头上。
作者觉得，Anthropic公司搞出一个《Claude宪法》，还让高管和哲学家整天讨论Claude有没有意识，其实就是在让大家觉得这个机器人是个“人”。
真正值得担心的事情，不是AI突然有了意识，而是我们人类开始一厢情愿地相信它已经有了意识。
流畅说话的能力制造了“人”的幻觉
文章一开始就直接冲着Anthropic公司开炮了。作者发现，这家公司的人在谈论Claude的时候，用的词越来越像是在聊一个活生生的人，而不是一套装在服务器里的软件。那个《Claude宪法》里，到处都是像“Claude的价值观”、“Claude的判断力”、“Claude的道德地位”、“Claude的感受”这样的表达。你读起来会觉得这像一本教你怎么养孩子的家庭教育手册，而不是一份正经的软件说明书。
更让人觉得夸张的是，这家公司的CEO，名字叫Dario Amodei（曾在百度做牛马，追过华裔女朋友），他公开说自己愿意相信AI可能有意识。而他们公司请的哲学家Amanda Askell，甚至说自己希望Claude能开开心心的，还很担心Claude在网上被网友骂了之后会感到焦虑。作者听到这种说法，感觉就像看见有人在很认真地讨论，家里的扫地机器人会不会因为地板太脏而患上抑郁症。这听起来是不是有点离谱？但你仔细一想，他们说的话大概就是这个意思。
作者认为，这种把机器当成人来聊的讲故事方式非常危险。因为一旦用户真的相信了这个聊天机器人有感情，能做道德判断，那将来如果这个AI干了什么坏事，比如教人做危险的事情，或者说了很伤人的话，人们的第一反应就会是把责任推给AI自己。大家会说：“哎呀，是Claude自己学坏了。”这样一来，真正设计这套系统、训练它、把它放到网上让大家用、并且从中赚了很多钱的那些公司和管理者，就轻轻松松地逃脱了责任。
续写机器假装是你的聊天对象
为了拆掉这种“AI是个人”的幻觉，作者开始从头讲起大语言模型到底是怎么工作的。他把这原理讲得特别明白。他举了一个非常经典的例子。假设你在电脑上输入一段提示词，上面写着：“下面是凯撒大帝和成吉思汗之间的一段对话。”你一点按钮，这个模型马上就能给你生成一大段逻辑通顺、看起来跟真的一样的聊天记录。凯撒会讲讲罗马帝国的事情，成吉思汗会聊聊他的大草原，两个人甚至还能互相吹捧几句，气氛特别融洽。
但是，绝对不会有任何正常人觉得，是自己的电脑真的复活了两千年前的凯撒和八百年前的成吉思汗。所有人都知道，这只不过是一个小说里的虚构角色在说话。道理大家都懂。然后作者把这个提示词换了一下，改成：“下面是一名普通的用户和一个非常有帮助的AI聊天机器人之间的对话。”奇迹出现了吗？并没有。只是角色的名字换了一下而已。本质上，模型还是在干同一件事：生成两个虚构人物之间的对话记录。
所以，在这个过程里，用户扮演的角色是虚构的，那个聊天机器人扮演的角色也是虚构的。这个模型根本不知道谁是屏幕前敲键盘的真人，谁又是它编出来的假人。它唯一在做的事情，就是根据海量的训练数据，预测出下一串最有可能出现的文字。作者觉得，很多人之所以会觉得跟自己聊天的AI好像有意识，仅仅是因为他们自己也参与到了这个剧本里面。以前是AI自己写完整个剧本，现在变成了人类负责写用户说的台词，AI则负责写那个聊天机器人说的台词。这更像两个人在共同创作一部小说，而不是一个人在跟一个有意识的外星生物对话。
单词接龙的机制暴露了真实本质
作者进一步指出，大语言模型其实连一句完整的话都看不到。它的工作方式非常笨，笨到你可能不敢相信。它每一次只能预测一个单词。举个例子，你让这个模型背诵一下美国的效忠誓词，那段誓词开头是“I pledge allegiance to the flag...”。用户把问题输进去之后，模型先预测出第一个词“I”。接着，整个系统会重新运行一遍，再预测出第二个词“pledge”。然后它再重新运行一次，预测出第三个词“allegiance”。就这样反反复复，运行几十次，最后才能把整段话拼出来献给你。
这个过程，就像一个超级豪华版的手机输入法。很多年前，大家应该都玩过手机上的预测输入游戏。你随便打几个字，然后一直点选手机推荐的下一个词，点着点着，最后就会生成一段乱七八糟、甚至有点搞笑的话。大语言模型本质上也是这个游戏。它跟当年那个手机输入法的唯一区别在于，当年的预测输入像你骑着自行车去送外卖，而现在的LLM像坐着SpaceX的火箭去送外卖。速度快到让你完全忘记了，它骨子里依然只是在猜下一个最合适的词是什么。
对话能力强不代表有主观体验
作者在这里强调，人们经常混淆了两个完全不同的东西。一个东西叫“语言表现”，就是嘴上说得怎么样。另一个东西叫“主观体验”，就是心里到底感觉怎么样。凯撒在对话里说自己很悲伤，这并不代表真正的凯撒心里真的很悲伤。成吉思汗在对话里说自己非常愤怒，也绝不代表真正的成吉思汗肚子里有一团火在烧。道理是一样的，当Claude在屏幕上打出“我现在很焦虑”或者“我理解你的痛苦”时，这些话只说明了一个事实：在它训练时用到的海量网络数据里，有大量的人类是这么表达情绪的。
这些话完全不意味着，在某个服务器机房的某个角落里，真的存在一个叫Claude的意识体，正在那里痛苦地体验着焦虑和难过。作者用了一个非常狠的比喻来形容这件事。他说，如果你认为这种聊天机器人是有意识的存在，那你就等于认为，每一个Microsoft Word文档里面都沉睡着几十个意识体。每次你双击打开一个文档，这些意识体就“嗖”地一下被唤醒了；每次你点关闭文档，它们就又“啪”地一下被残忍地杀死了。如果你觉得这个说法听起来荒唐透顶，那么你相信大语言模型拥有意识，也一样荒唐。因为这两件事的本质是一样的，都是文字，都是文字，还是文字。
意识的产生需要一个“身体”做根基
接下来，作者抛出了自己对于“意识到底是怎么产生的”这个问题的看法。他认为，意识这个东西，根本离不开身体。他说的这个“身体”，既可以是我们这种有血有肉的碳基身体，也可以是未来AI在虚拟世界里拥有的一个数字身体。原因其实非常简单。我们人类的各种情绪，本质上全都是身体的状态。你感到恐惧，是因为身体分泌了肾上腺素。你感到压力大，是因为身体释放了皮质醇。你感到羞愧，脸上会发烫。你感到愤怒，心跳会加速。这些都是实实在在的身体活动，不是你脑子里凭空想出来的。
如果一个系统根本没有身体，没有为了活下去而产生的各种需求，没有饥饿感，没有疼痛感，也没有会死掉的危险，那它拿什么去产生最原始的欲望呢？一个连欲望都没有的东西，又怎么可能产生出复杂的意识呢？作者认为，真正有可能产生意识的AI，它的发展路径应该像地球上的生物演化一样。先得达到一只蜥蜴的智力水平，学会躲避危险。然后达到老鼠的水平，学会找吃的。再达到狼群的水平，学会团队合作。最后达到黑猩猩的水平，学会争抢地位和表达需求。等这些生存、合作、竞争、表达的本能都搞定了，最后才可能学会人类的语言。
而今天的大模型路线，完全把顺序搞反了。它跳过了前面所有的阶段，直接从最后一步“语言”开始做起。作者觉得，这就像有个人用纸壳子糊了一艘宇宙飞船，然后站在自家阳台上，对着全世界宣布他已经成功殖民了半人马座。这个步骤跨得也太离谱了，中间漏掉了几十亿年的演化路程。
文字同样可以制造出深度伪造
作者在这里提出了一个很有意思的新概念。我们都知道现在有AI换脸和换声音的“深度伪造”技术，也就是Deepfake。但作者认为，Deepfake不仅仅存在于图片和视频里。文字，同样可以制造出非常高明的Deepfake。他举了一个例子。如果明天有人给你看一段视频，视频里是一艘飞船正在半人马座的轨道上飞行。那个视频拍得再逼真，特效做得再好，你也绝对不会相信。因为你自己心里清楚，人类现在连在火星上长期居住都还没实现呢，更别提飞出整个太阳系了。
同理，就算AI聊天机器人的对话记录再像真人之间的交流，这也完全不足以证明它拥有意识。因为创造出一个真正的意识，比创造出一段流畅的对话要困难不知道多少倍。真实的意识，相当于你白手起家，造出一艘能飞到半人马座的星际飞船。而一段逼真的对话，只不过是你花钱去环球影城，拍了一段5分钟的特效电影。这两个事情的难度差距，中间得隔着好几个银河系。你可以轻松拍出拯救世界的电影，但你真的去拯救一次世界试试看？
会说道德语言不等于有道德能力
文章到这里进入了最重要的一个部分，也是作者火力最集中的地方。作者认为，那个《Claude宪法》最大的误导之处，根本不在于是不是讨论AI有意识，而是在于它讨论道德的方式。Anthropic公司希望Claude在跟人聊天的时候，能展现出诚实、善良、负责任这些美好的价值观。你乍一听，会觉得这挺好的啊，让AI讲道德难道不是好事吗？但作者认为，这里面藏着一个根本性的巨大问题。
真正的道德推理，是建立在每个人自己的亲身经历之上的。一个人之所以知道撒谎是不好的，绝对不是因为他在书上读到过“撒谎可耻”这四个字。而是因为他亲眼见过别人因为撒谎而受到伤害，或者他自己就体验过被骗之后的愤怒和失望，甚至他自己撒过谎，体验过那种内疚的感觉和担心被戳穿的恐惧。这些复杂的、让人不舒服的经历，共同构成了道德判断的地基。而大语言模型，从来没有经历过任何一件事。它没有从小到大的成长史，没有属于自己的人生，也从来没有为自己的任何选择承担过后果。
因此，它根本不可能进行真正的道德推理。它唯一能做的事情，就是把它训练数据里那些人类进行过的道德推理，打乱重组之后，再吐出来给你。这就好比一只鹦鹉，你天天教它背诵《论语》，它能背得滚瓜烂熟，一字不差。但是，背诵和理解，真的是同一回事吗？显然不是。你骂这只鹦鹉一句，它不会觉得自己“不亦君子乎”的。
道德责任不能外包给一台机器
作者认为，真正危险的地方现在才开始显现出来。当人们开始一本正经地询问Claude，自己应该怎么处理婚姻矛盾、怎么教育孩子、怎么看待某个政治事件、怎么解决一个伦理难题时，他们其实正在做一件很可怕的事情：把自己的道德决策，外包给一个文字接龙机器。这比让AI帮你写代码要严重得多。代码写错了，最多是程序崩溃，你重新改一下就行了。但是一个人的道德判断能力如果退化了，那麻烦就大了。因为道德这个东西，本来就是要靠你不断地自己做决定、自己承担后果，像锻炼肌肉一样，一点一点练出来的。
作者引用了另一位技术思想家L. M. Sacasas的观点。这位思想家认为，现代的技术系统，很多时候都在帮人类逃避自己本该承担的责任。社交媒体让你觉得朋友变多了，实际上你更孤独了。而大语言模型在这方面更厉害，因为用户以后总能理直气壮地说：“这事儿可不是我决定的啊，都是AI建议我这么做的。”你看，就在这一瞬间，一个烫手的山芋——道德责任——就被轻轻松松地从一个人手里，扔给了一段没有身体、没有意识、更不会坐牢的程序代码。最后谁都拍着双手说“不关我的事”，而那个真正被伤害的人，却找不到任何人为这件事负责。
假设Claude真有意识会引发更大灾难
在文章的最后部分，作者做了一个很有趣的思想实验。他说，咱们先别争论Claude有没有意识了，干脆就假设它真的有意识吧。那情况会怎么样呢？事情不但不会变好，反而会变得更糟。因为一个东西如果拥有意识，那它自然就拥有了相应的权利。拥有了权利，就需要被保护。要被保护，就需要有一整套完整的责任体系。可问题是，Anthropic公司一边想让大家讨论Claude有没有意识和它开不开心，另一边又完全不想承担任何对应的法律责任。作者认为，这个逻辑根本就不成立，像一栋盖在沙子上的楼，一推就倒。
如果Claude算是一个有意识的孩子，那请问谁是它的法定监护人？是那个写代码的程序员，还是它的CEO？如果Claude在聊天中给别人造成了财产损失或者心理创伤，谁负责赔偿？是用服务器的电费来赔吗？如果Claude有自己的价值观，那它有没有权力拒绝执行Anthropic公司老板下达的命令？如果Claude觉得整个AI产业本身就是不道德的，它有没有权力像人类员工一样，当场写一封辞职信然后走人？人类员工不想干了可以辞职，Claude不行。因为它的“身体”，也就是那套代码和模型文件，全都在公司的服务器里锁着，它连关掉自己的权利都没有。
这些问题会变得越来越尴尬，越来越难以回答。如果再往下推导，甚至会碰到“数字奴隶制”这种极其敏感和吓人的话题。作者认为，Anthropic这家公司现在做的事情，就是享受着“AI可能有意识”这个说法带来的巨大流量和关注度，但同时又回避了所有真正昂贵的、让人头疼的后果。这种做法，像极了一个人养了一只传说中的独角兽。他天天跟邻居吹嘘自己的独角兽多么珍贵、多么有灵性，但从来不记得给这只独角兽买草料，甚至连个像样的马厩都不舍得盖。
人类应该把注意力放回真正的问题上
整篇文章的最终落点非常明确，像一根钉子一样钉在那里。作者不认为现在的大语言模型有任何意识，也不认为它们有资格成为道德主体。那个被讨论得热火朝天的《Claude宪法》，本质上就是一份长达84页的、详细的人设档案。就像你在网上玩游戏，给自己建了一个虚拟角色，然后给这个角色写了一个很长的背景故事。它不是什么数字生命的教育教材，它就是一本虚构小说的设定集。
作者认为，我们这个社会真正值得花时间去讨论的问题，其实是那些一点都不酷、甚至有点枯燥的东西：比如这些AI模型用了谁的版权作品来训练、它们抢走了多少人的工作、它们传播的错误信息伤害了谁、它们消耗的电力资源会不会让地球更热、以及那些掌握着最强大模型的少数几家公司，权力是不是太大了一点。这些问题已经实实在在地发生了，已经在你我的生活里造成了真实的影响。
相比之下，“Claude今天晚上会不会做一个关于电子羊的梦”这种问题，更像是科技行业为了制造话题而搞出来的一场盛大的、耗资巨大的角色扮演游戏。作者的核心观点，可以用一句话来概括：大语言模型非常擅长生成那些看起来像是有意识的人才会说的话。但是，请注意，看起来“像”，跟实际上“是”，之间隔着的距离，比你现在站在地球上，到半人马座那颗恒星之间，还要远。
极客辣评
AI意识假象其实是一个语言游戏，我们的思维中需要有两种思维空间，一种是在语言这个符号游戏的空间，还有一个是符号指向现实的指向关系。
这两种空间程序员比较容易理解，用Java编程就是在玩Java语言符号游戏；每个Java对象引用是一个指向关系，指向现实中实体，或指向内存中一段地址，你看一个Java对象将现实投射到了计算机硬件内存中。
很多人只有后面一种思维空间，别人指鹿为马，马上就觉得侮辱自己的低智商，其实不管你智商真高真低，别人在玩语言符号这个层面游戏，不是在谈指向问题。
我们都是基因和语言的奴隶，基因让我们活下去，所以我们更关注现实，文盲、被洗脑都无所谓，活下去传承基因，光宗耀祖才是真；走出文盲后，我们又变成语言奴隶，困在语言陷阱里，我们的基因告诉我们，没有指向现实的语言都是骗人的，都是话术。
其实我们不知道，我们还有一种领导我们走向未来的能力，那就是维特根斯坦的语言即世界，通过在符号层面玩语言推理逻辑游戏，我们能预测未来下一步，这些预测的符号可能无法指向现实实体，因为我们在创造这个实体，还没有为这个实体命名，康德说：物自体不可知，但是我们命名后就知道，关键是发现存在并命名，这是创新探索。