现在,哥本哈根大学的科学家们,就像一群好奇宝宝,正在重新研究一个酷炫的假设,叫做“奥赛罗世界模型”。他们想搞清楚,那些我们平时用来聊天、写文章的大型语言模型(LLM),比如ChatGPT那种,能不能光凭着分析我们下棋的顺序(就是你一步我一步的那些棋谱),就自己偷偷摸摸地学会奥赛罗的规则,甚至在“脑子”里构建出棋盘的样子!
神秘的“奥赛罗世界模型”是啥意思?
“奥赛罗世界模型”这个假设,简单来说就是:如果一个语言模型,只给它看一大堆下棋的顺序,没有给它任何规则,也没有给它看棋盘长什么样,那它能不能自己就在“脑子”里画出棋盘,并且知道怎么下棋才算走对路?
如果这个假设是真的,那就太神奇了!理论上,这些模型应该能光靠自己脑子里的“地图”,就能预测下一步棋应该怎么走才有效。
为什么大家开始关注“世界模型”?
最近,大家都在讨论生成式人工智能(就是能自己创作东西的AI)能不能像人类一样,在脑子里构建一个“世界模型”。尤其是OpenAI搞出了一个能把文字变成视频的Sora,还有Meta公司的Yann LeCun教授吐槽说现在的AI有些像“死胡同”,让这个话题更火了。
其实啊,这个问题早就有人问过了。以前就有科学家尝试让GPT-2(一种早期的语言模型)去学奥赛罗,看它能不能在脑子里搞出个“内部模型”。虽然那些早期研究有点小瑕疵,比如他们不太确定模型到底是怎么学的,但它们确实发现,Transformer网络(就是现在大部分大型语言模型的基础),好像真的能从简单的数据里发现规律和结构!
这就有点打脸那些说大型语言模型只是“随机鹦鹉”的说法了。什么叫“随机鹦鹉”呢?就是说这些模型只是瞎模仿人类说的话,根本不懂自己在说什么。但是,如果它们能从棋谱里学会棋盘和规则,那可就不是“随机鹦鹉”那么简单了,这说明它们可能拥有我们想象不到的更深层次的能力!
AI自己构建“内部地图”?太酷了吧!
在最新的研究中,哥本哈根大学的这帮科学家可下了功夫。他们找来了七种不同的大型语言模型,像是我们熟悉的GPT-2、LLaMA-2等等,然后让它们去预测奥赛罗的下一步棋怎么走。他们用了两大堆数据:一堆是真实的下棋记录,大概有14万盘;另一堆是电脑自己生成的棋谱,足足有几百万盘!
这次研究和以前不一样的地方是,他们用了一种叫“表示对齐工具”的东西。这个工具就像是一个“透视镜”,能让研究人员直接看到每个模型在“脑子”里画出来的奥赛罗棋盘,然后直接拿来比较。科学家们说,这个工具解决了以前研究中遇到的难题,能更清楚地看到模型到底在想什么。
结果简直让人大吃一惊!这些模型不仅学会了怎么玩奥赛罗,更厉害的是,它们在“脑子”里形成的棋盘空间结构,居然和真实的棋盘惊人地相似!即使是不同类型的模型,它们“看”棋盘的方式也高度一致,就像大家共享了一张一模一样的“地图”。
这些模型的表现,也和它们的“脑子”结构以及训练的数据量有关系。用真实棋谱训练的模型,大部分错误率都低于6%。而用电脑生成的大量棋谱训练的模型,错误率更是直线下降,从一开始的50%降到了不到0.1%!简直是“学霸”级别的表现!
有趣的是,像Flan-T5和LLaMA-2这些平时就已经“博览群书”(在大量普通文本上预训练过)的模型,并没有一直比那些没有预先学过“语文”的模型表现得更好。这说明啥呢?说明学会奥赛罗棋盘的“世界模型”,不一定非要先有语言知识,光凭下棋的顺序也能学得会!
这项研究对AI有啥大影响?
这项研究可是给了那些批评大型语言模型的人一个响亮的耳光。有些人觉得,那些只用一种数据训练的AI(比如只看文字的),肯定搞不懂那些需要“看”或者“空间想象”的问题。但是奥赛罗棋盘本来就是个需要“看”的东西,这些模型居然能光凭棋谱就把棋盘的样子“重建”出来,这说明它们的抽象能力简直逆天!
这项研究还解决了一个AI领域的老大难问题,叫做“符号接地问题”。啥意思呢?就是那些抽象的符号,比如奥赛罗里的“C3”(代表棋盘上的某个格子),AI怎么才能把它们和真实世界的意义联系起来?现在,模型学会了把“C3”这样的符号,和棋盘上特定的位置以及它们之间的空间关系联系起来,而不是把它们当成一堆没意义的符号。
Yifei Yuan和Anders Søgaard,是在ICLR 2025上发表这项研究的两位作者,他们认为自己的研究为“奥赛罗世界模型”假设提供了比以前更有力的证据。