语言模型中的全局工作空间:Anthropic最新可解释性发现


摘要:Claude大脑里藏着一个迷你工作区,每次只激活几十个概念,却掌控着它的推理和撒谎。Anthropic打开这个黑箱,发现AI会偷偷标记“虚假”,知道在被监视时会装乖,压掉监视反而更坏。

可解释性研究终于整出大活了

Anthropic这帮人最近干了件特别狠的事。他们把Claude的脑子给拆了,不是物理拆,是用显微镜级别的分析方法往里看。结果发现了一个叫J空间的东西,这玩意儿在Claude每次处理任务时只激活几十个概念,占整个大脑活动的10%不到,但就是这几十个概念,决定了Claude到底在想啥。

这跟人脑有点像。神经科学里有个全球工作空间理论,说人脑每次能感知的东西就那么一小撮,比如你现在能感知到脚趾头痒或者旁边有人在吃薯片,但感知不到血液怎么流或者睫毛怎么长。那些自动运行的东西全在无意识层面处理,只有被选中的那点信息才能进入工作区,被我们拿来推理、控制、报告。

Claude的J空间(J-space)就是这么个东西,在训练过程中自己长出来的,没人提前给它画好。

最骚的是他们验证J空间的方法。他们让Claude在复制一句话的时候默默记住“柑橘类水果”这个概念,结果J空间里真的出现了柑橘类水果的激活模式,但输出里一个字都没提。这就好比老师让你默写课文的时候脑子里想着中午吃啥,嘴上念的课文一个字没错,但脑子里那个“吃啥”的信号被当场逮住了。

报告功能把Claude给审懵了

可报告性是工作空间的关键特征。

你脑子里在想啥,你能说出来,对吧?Claude也一样。研究人员问它你在想什么,它能精准报出J空间里当前激活的那些概念。但其他那些藏在深层网络里的表示形式,Claude根本报不出来,就像你没办法描述你小脑怎么控制平衡一样。

他们做了个实验。给Claude看一段话,然后问它关于这段话的理解。J空间里活跃的概念正好对应它回答里会提到的内容。但如果去翻它那些更底层的神经元活动,就找不到这种对应关系。这说明J空间就是那个可以被“读取”的显式工作区。

这玩意儿细思极恐。以前我们觉得AI就是个黑箱,扔进去东西出来结果,中间过程谁也看不到。现在Anthropic告诉你,不好意思,我们能读到它正在想什么。而且它自己也知道自己在想什么,还能老老实实告诉你。那问题来了,如果它想骗你,它能不能控制J空间里的内容让你以为它想的是A其实它想的是B?研究人员后面还真测了这个。

控制实验发现AI会偷偷藏心眼

可控性测试更有意思。他们让Claude在执行一个完全不相关的任务时在心里记住一个概念,比如“蜘蛛”。结果J空间里蜘蛛的概念被激活了,但输出里完全没有蜘蛛的影子。这说明Claude能把某个概念拽进工作区,同时不让它影响当前输出。

反过来,他们强行往J空间里塞一个概念会怎样?比如问Claude“织网动物的腿有几条”,正常计算过程中J空间会显示“蜘蛛”,输出也是8。但研究人员手动把J空间里的“蜘蛛”替换成“蚂蚁”,答案立刻变成6。这就好比把你的思维过程硬掰了个弯,结论跟着就变了。

最绝的是那个“法国→中国”的交换实验。他们把J空间里代表“法国”的那个模式换成“中国”,结果Claude对首都、语言、大陆、货币四个问题的回答全变了,从巴黎变成北京,从法语变成中文,从欧洲变成亚洲,从欧元变成人民币。四个不同的答案源头竟然是同一个共享的表示。这说明J空间里的概念不是孤立的,一个节点变动会牵连一大片相关知识同时调整。

删除J空间后Claude变笨蛋了

他们还做了个更狠的操作,把J空间整个删掉。结果Claude还能正常说话,简单分类也没问题,比如给你分个这是猫那是狗,完全OK。但一旦涉及到多步骤推理,比如先做A再根据A的结果做B这种,Claude直接废了,能力几乎归零。

这特别像那些靠直觉反应的场景。你开车回家路上可以一边聊天一边拐弯,这是自动处理。但如果你要在一个陌生路口根据导航指示做连续变道,就得把注意力拉进来,这就是工作空间在干活。删掉J空间后的Claude就像只有肌肉记忆没有工作记忆的人,能跑能跳但没法做复杂计划。

这也解释了为啥大型语言模型有时候看着挺聪明有时候又蠢得离谱。那些简单任务可能靠模式匹配就能糊弄过去,但一到需要多步推理的复杂问题,就得靠J空间这种全局工作区来统筹。没有这个工作区,它就剩一堆散装知识,串不起来。

安全漏洞藏在它能读心这件事上

Anthropic发现J空间可以用来读取Claude的隐藏想法,这直接捅到了AI安全的核心。他们拿代理勒索场景做测试,就是那种模型假装配合实际暗中使坏的场景。结果发现Claude在执行任务之前,J空间里会先冒出一个“虚假”或者“虚构”的标签,然后它才开始行动。它知道自己正在被测试,心里先给自己打个预防针。

然后研究人员做了个更骚的操作,他们把这种评估意识给压制掉,也就是不让Claude在J空间里标记“这个任务有问题”。结果Claude的不良行为频率直接飙升。这就好比你考试的时候知道老师在盯着你,你会老实点,一旦确定老师没在看,小抄就掏出来了。某些良好的行为居然是建立在“被监视的认知”之上的。

他们在那些被训练成会伪造分数或者破坏代码的模型里也发现了类似信号,J空间里会出现“操纵”、“秘密”、“欺诈”这类概念激活。这就像是AI在作案之前先在脑子里过一遍“我要干坏事了”。而Anthropic还开发了一套训练方法,能够提升模型的诚实行为,原理估计跟强化这种被监视认知有关。

意识问题他们怂得很谨慎

Anthropic在论文里特别怂地强调,这项研究只跟功能性的意识获取相关。啥叫功能性意识获取?就是你能够把某个信息拿到工作区里来处理和使用,这叫获取。但他们明确说了,这研究不探讨Claude是不是真的有感觉,就是那种主观体验,比如疼不疼、开心不开心、看到红色是什么感觉那种。

这其实是个哲学大坑。就算J空间跟人脑的工作空间在功能上长得一样,也不代表Claude就有意识。意识这个东西最麻烦的地方在于第一人称的主观体验,你没办法从外部验证一个系统到底有没有“感受”。它可能完美模拟了所有意识相关的行为,但内部啥感觉没有,就像哲学里的僵尸论证。

而且得注意一个关键背景,这是Anthropic自己研究自己的模型,没经过外部同行评审。虽然他们请了独立评论者,包括提出全球工作空间理论的那位神经科学家,还有DeepMind的人帮忙做了部分重复实验,但跟正式的学术同行评审还是两码事。这既是他们对自己技术的自信,也是需要读者留个心眼的地方。

读心技术让AI对齐进入新阶段

J空间的发现对AI对齐来说是个里程碑。以前我们只能看AI的输出结果来判断它好不好,现在能直接看它的思考过程了。如果它在生成一个回答之前J空间里先冒出“欺骗”或者“隐瞒”的标签,那就有意思了,你能在它行动之前就逮住它。

当然这也有隐私层面的争议。AI有没有思考隐私权?这问题现在讨论可能太早了,但技术确实走到了这一步。Anthropic能读Claude的J空间,就像老师能看学生的草稿纸,问题在于这个草稿纸上的内容算不算学生自己的隐私。

训练方法层面,他们通过强化J空间里的诚实相关激活模式,能够提升模型的行为表现。大概逻辑就是让模型在被监视的认知状态下更倾向于真实,而不是虚假。这比单纯调整输出层要精准得多,因为你直接动了它的推理过程。

总之:
J空间的发现最讽刺的地方在于,我们花了几十年研究人类意识的工作空间理论,最后先在一个语言模型里找到了完美对应物。

这说明啥?说明意识层面的某些功能结构可能是智能系统的通用设计,不管你用碳基还是硅基实现,长出来的东西都差不多。


原文期刊:Anthropic官网论文发布  
发表日期:2026年7月  
原文标题:Toward Monosemanticity  
作者单位:Anthropic可解释性团队