AI大模型、机器学习泛化能力、双下降效应、过参数化、自然选择、基因调控网络、生物进化、生命智能,这些词放一起,以前没人觉得它们有关系。
结果加州大学欧文分校刚发在《Evolution》上的研究,直接把这些概念串成一条线。作者说,生命几十亿年进化,跟今天训练GPT、Claude、Gemini的过程,用的其实是同一套底层逻辑。
很多人觉得进化就是一代代慢慢变强。但这篇研究说,不一定。
在相当漫长的时间里,生命可能一直在原地打转,只会死记硬背当前环境。直到某个时刻,基因调控网络复杂到一定程度,系统突然解锁了一种新能力——泛化(举一反三)。不是学一个就只会一个,而是学一个能顶十个。这跟今天大模型突然变聪明,逻辑上几乎一模一样。
环境出题,基因答题,自然选择批改。以前每一代都在重复同一个循环。直到那天,某个生物突然不再只是记住答案,而是开始理解规律。从那一刻起,进化就不一样了。它不再只是积累经验,而是在积累一种能跨场景使用的通用能力。
记忆只能让你活一次泛化才能让你活很多次
先搞清楚一件事。什么叫记忆?什么叫泛化?一只兔子被狐狸追过一次,它学会了看见狐狸就跑。这叫记忆。但如果这只兔子看见一只黄鼠狼,它从来没被黄鼠狼追过,结果它还是跑了。为什么?因为它识别出的不是狐狸,而是那种快速移动的小型毛茸茸捕食者的共同特征。这就是泛化。
记忆是点对点的:见到A,做反应A。见到B,完蛋,没见过。
泛化是点对面的:见到A,做反应A。见到B,虽然没见过,但它看起来跟A有点像,于是也做了类似反应。
前者能保命一次;后者能保命很多次。你让自然选择来投票,它肯定选后者。
问题是,泛化这个能力不是免费的。它需要更复杂的系统来支撑。一只只有十个神经元的虫子,没法做泛化。它只能走硬编码路线。看到一个信号,执行一个动作,简单粗暴。而拥有庞杂基因调控网络的生物,才有空间去存储那些抽象的规律,而不是一箩筐具体的答案
飞跃之前生命在死记硬背上耗了很久
泛化能力的出现之前的几十亿年里,生命基本处于一种“背题”模式。环境给了什么刺激,生物就攒下什么对策。冰川来了,长毛。天旱了,存水。你来我往,都是具体问题具体解决。
这种模式有一个致命伤。一旦环境变了,之前攒的所有答案全部作废。相当于一个学生只背了去年的考题,今年老师换了个出题思路,他直接挂科。很多物种灭绝,说白了就是环境一变,它的旧答案用不上了,新答案又没来得及攒。
于是进化陷入一种循环。学一点,存一点。环境一变,清零重来。学一点,存一点。又清零。虽然每个物种都在努力,但整体进步非常缓慢。直到某个临界点被突破,系统不再是收集答案,而是开始提炼规律。从此以后,环境一变,它不需要重新学,它能把旧规律套用在新问题上。
飞跃的关键时刻可能在寒武纪前后
根据逻辑推演,那次飞跃最有可能发生在寒武纪大爆发前后。原因很简单。寒武纪之前,地球上基本都是单细胞生物和简单的多细胞生物,形态单调,行为简单。寒武纪一过,物种形态突然爆炸式增长,捕食、躲避、伪装、协作全部上线。
如果进化一直是死记硬背模式,寒武纪那个突变速度根本解释不了。因为背答案需要一个环境一个环境去积累,速度不可能那么快。但如果有一次泛化能力被解锁了,前面的解释就通了。系统突然学会了规律迁移,一个新环境带来的经验可以立刻用在另一个新环境上。
这跟大模型领域的顿悟时刻很像。GPT-2到GPT-3,参数跨过某个量级之后,表现不是线性增长,是跳跃式上升。之前不会的,突然会了。之前没教过的,突然能处理了。研究说,进化史上应该也发生过类似的事情。某一个临界点被突破,泛化能力涌现,整个地球的生态格局从此翻篇。
基因网络过参数化可能就是那次飞跃的开关
如果非要给那次飞跃找一个技术上的原因,研究给出的线索指向过参数化。这个词听起来很唬人。Overparameterization,就是系统里的可调节参数远远超过解决眼前问题所需要的数量。以前大家觉得这是一种浪费,甚至是一种风险。参数多了容易乱学,容易把噪声当规律。
但这篇研究说,恰恰是参数超过了某个阈值,泛化能力才会突然涌现。
这就解释了为什么细菌搞了二十亿年,基本还是那套固定打法。因为它们的基因调控网络太简单,参数太少,想飞也飞不起来。而多细胞生物出现以后,基因之间的连接数量急剧膨胀,过参数化成了常态。
一旦调控网络的规模跨过了那道门槛,系统就不再满足于死记硬背了。它有足够的空间去存放抽象的规则,而不是只存具体的指令。这就好比一个小学生,你给他讲一道题他只会一道题。但你给他讲一百道题之后,他可能突然开窍了,会自己总结出解题套路。那个开窍的瞬间,就是飞跃。
大模型最大的秘密藏在参数越来越多这件事里
以前统计学有个经典说法。模型太小,学不会。模型太大,容易把噪声一起背下来。教科书上通常画一条漂亮曲线。复杂度往上走,效果先变好,接着越来越差。大家都相信中间存在一个黄金平衡点。不多不少刚刚好。
结果这几年大模型不断刷新纪录。事情变味了。GPT越搞越大。Claude越搞越大。Gemini越搞越大。它们并没有变笨,反而越来越聪明。研究人员回头检查旧理论,发现它解释不了现在的情况。于是有个新现象开始被关注。Double Descent,双下降。
名字听着像过山车。实际曲线也差不多。一开始模型越来越复杂,错误越来越少。到了一个危险区,错误突然暴涨。很多人觉得完蛋了。没想到继续加参数以后,错误率又开始一路下降,而且越降越低。最神的是,这次下降不是发生在训练数据上,是在陌生数据上。也就是说,它开始真正学会举一反三了。你说神不神奇?
基因网络越复杂生命越能学会举一反三
作者提出一个非常大胆的推测。既然自然选择本身就是一种学习,那机器学习发现的新规律,很可能也适用于整个生命世界。问题就来了。如果大模型因为参数越来越多,所以越来越容易形成泛化能力,那生命是不是也一样?答案是,论文认为确实如此。
作者说,随着生命不断演化,基因调控网络越来越复杂,可调节的参数越来越多,生命慢慢拥有了面对陌生环境的能力,不再只是死磕过去遇到的问题。基因调控网络,Gene Regulatory Network,就是基因之间互相控制、互相影响的连接结构。参数越多,能调节的细节就越多,能产生的应对策略也越丰富。
这意味着生命积累的不只是经验,还在积累一种更高级的能力。这种能力能跨越不同环境、不同挑战,甚至能对付未来还没出现的问题。几十亿年的进化,看起来越来越像一个不断升级的大模型。以前我觉得进化就是变复杂,现在看,它更像是在练内功。
双下降现象把学习这件事整个翻了过来
双下降这个名字挺拗口。其实可以把它想象成一辆车翻山。开始爬坡,速度越来越快。快到山顶时突然卡住了。好多人以为发动机废了。结果再踩一脚油门,车直接冲了过去,后面一路下坡。机器学习里的双下降,差不多就这个感觉。
传统理论认为,模型参数越来越多,最后一定会把训练数据全部死记硬背。这样面对新数据特别容易翻车。可现实跑出了另一条曲线。参数继续增加,模型居然重新变聪明了。论文认为这不是巧合,而是一种普遍规律。原因在于模型空间突然变得巨大无比。
以前只有一条路。现在变成几百万条路。很多不同的参数组合,都能把训练数据答对。学习算法终于有机会挑那些更简单、更平滑、更稳定的方案。它开始抓规律,慢慢放弃死记硬背。这个阶段,模型才第一次拿到真正的泛化能力。相当于从背答案升级到了真听懂。
参数变多反而让噪声更难浑水摸鱼
很多人听到这里会皱眉。参数越多,不是越容易乱学吗?直觉上确实这么想。但论文给出了另一个角度。可以把参数想象成房间。以前只有十个房间。家具、垃圾、快递盒全塞一块。最后整个屋子乱成一锅粥。现在突然有一千个房间。家具归家具。垃圾归垃圾。衣服归衣服。整个空间立马清爽了。
模型也一样。参数太少的时候,真正的规律和随机噪声只能挤在一起,根本分不清谁是谁。参数足够多以后,真正的规律终于有了自己的位置。那些偶尔出现的数据波动,也被隔离了出去。论文管这个叫避免混叠。Aliasing,混叠,就是把真规律和随机巧合搞混了。
换句话说,参数增加带来的最大好处不光是容量,还有分类能力。规律归规律。噪声归噪声。整个学习过程一下子就轻松了。这个思路放到生物进化里也说得通。基因调控网络越复杂,真正有用的调控关系越容易固定下来,那些碰巧出现的无效连接反而越来越难长期存活。
飞跃之后生命开始拥有真正的韧性
在泛化能力出现之前,生物对抗环境变化的方式是硬扛。
冬天来了,扛。旱季来了,扛。扛不过去就灭绝。这种方式没有任何杠杆。你扛过了这一个冬天,下一个冬天还得重新硬扛。每一代都在做同样的苦力活,积累不下来任何东西。
泛化能力出现之后,生物有了杠杆。今天扛过这个冬天,系统会从中提炼一些规律。比如,温度降低的时候,哪些基因应该上调,哪些应该下调。这些规律不会写在某个具体词条里,它会分散在调控网络的各个连接里。等到下一个冬天再来,系统不用从头学,它直接调用已有的规律。
这就是韧性!不是硬抗的能力,是恢复和适应的能力。一个只能硬抗的系统,一旦压力超过阈值就崩了。一个有泛化能力的系统,压力再大,只要规律没有被破坏,它就能在新的条件下重新组织自己。论文认为,生命真正变得不容易灭绝,就是从泛化能力出现之后开始的。
生命一直在悄悄扩大基因网络的容量
如果这套理论靠谱,那几十亿年的生命史就有了一种新解释。最早的细菌,基因少,调控网络简单。它们面对环境更像在执行固定程序。天气一变,营养一变,很多反应就跟着变。但随着生命越来越复杂,基因之间的连接越来越密,控制方式越来越丰富,整个调控网络在不断扩容。
论文预测,这会带来越来越强的泛化能力。作者梳理了生命发展的大趋势。原核生物,Prokaryote,就是没真正细胞核的那种。单细胞真核生物,Eukaryote,结构更复杂。再到多细胞生物,拥有更庞大的调控系统。按照论文的说法,这个发展方向不光是身体变复杂,同时意味着面对陌生环境的能力越来越强。
这就像手机系统升级。最早只能跑几个固定程序。后来能装一堆应用。最后连以前没人写过的软件都能跑。生命也慢慢有了类似的本事。过去攒下来的经验,能挪到未来的新问题上。你看那些活了几亿年的物种,不是它们运气好,是它们的系统兼容性高。
适应度景观这套老模型得重新画了
进化生物学里有个特有名的概念。Fitness Landscape,适应度景观。可以把它想成一大片山地。每座山峰代表一种优秀的基因组合。每处低谷代表生存能力不行。过去几十年,大量研究都围着这个模型转。大家关心的就一件事:怎么爬到更高的山峰?怎么绕开低谷?哪条路最划算?
但这篇论文提了个新问题。就算很多山峰一样高,为什么生命最后总站在某几座山上,而不是另外那些?传统适应度景观很难回答。机器学习倒是给了一条思路。很多方案训练分数一样高,真正拉开差距的是未来表现。谁更能适应没见过的环境,谁的价值就更大。
这样一来,适应度景观就有了两层意思。第一层看现在。第二层看以后。一个方案今天表现很好,明天可能立马完蛋。另一个方案今天同样优秀,明天还能继续解决新问题。俩放一块比,高下立判。论文把这种能力直接对应成进化系统里的泛化能力。说白了,不光要看谁现在混得好,还要看谁以后也能混得好。
生物的调控网络跟神经网络越长越像
论文反复强调一个观点。可以把生物理解成一个计算系统。环境输进来各种信号,Input。基因调控网络负责计算,叫表型计算回路,Phenotype Circuit。最后产生各种行为、代谢和生理反应,Output。这一看,整个过程跟神经网络几乎是一个模子刻出来的。
训练数据,对应生命经历过的环境。模型参数,对应各种基因调控连接。优化算法,对应自然选择。测试数据,对应未来还没遇到的新环境。以前大家觉得AI是在模仿大脑。这篇论文直接又往前迈了一步。整个生命进化,也能塞进学习理论里统一理解。
这一下,机器学习和进化生物学突然有了一套共同语言。
以前分属两个领域的很多问题,现在能互相解释了。比如过参数化为什么在两种系统里都能带来好处。比如为什么两者都经历过类似双下降的转折阶段。你想想,一个搞计算机的跟一个搞生物的坐一块,突然能聊到一块去了,这事本身就很科幻。
老掉牙的基因网络反而更能打
论文还有个很有意思的预测。两个生物站一起。一个刚演化出新的调控网络。一个已经稳定跑了几千万年。谁更扛得住陌生环境?很多人第一反应可能选新的。毕竟新技术听起来更先进。但论文认为,很多时候答案刚好反过来。
原因出在学习过程上。一个系统刚开始学习的时候,通常只能对付眼前的问题。今天来个敌人,它学会躲。明天来个新敌人,它又改一套。整个系统不停打补丁。看起来越来越复杂。实际上越来越脆。论文管这叫容易碎裂的阶段。环境稍微变一点,原来的关联关系就可能全崩了。
继续经历更多环境以后,大量没用的关联慢慢被淘汰,真正稳当的规律留了下来。调控网络终于形成了能覆盖很多场景的能力。换句话说,老系统最大的财富不是年龄,是经历过更多测试。它已经踩过无数坑。很多错误早就交过学费了。就像老司机跟新手比,新手的车可能更好,但老司机什么路没见过?
生命积累的东西从答案慢慢变成了能力
这是整篇论文最值得反复琢磨的地方。以前理解进化,总觉得生命一直在收集答案。天冷了怎么办?长毛。食物少了怎么办?降低代谢。敌人来了怎么办?跑,或者长毒液。每次变化都对应一个具体方案。但论文提出了另一种看法。随着调控网络越来越复杂,生命开始收集一种更抽象的东西——解决问题的方法本身。
举个特别土的例子。有人会做一道数学题。有人学会了一种解题方法。前者遇到新题得从头来。后者虽然没见过原题,照样能一步步推出答案。生命后来积累的,更像第二种能力。面对未知环境,它不用每次从零开始。很多规律已经提前藏在调控网络里了。
所以真正变化的,不光是基因数量,也不光是蛋白质数量,而是整个生命开始拥有越来越强的迁移能力。今天学会的东西,能帮它解决明天的问题。几十亿年前形成的调控方式,甚至还在影响今天生物面对新病毒、新气候和新环境。你说这帮老古董,原来藏了一手。
机器学习给进化生物学递了把新钥匙
以前这俩学科像两条平行线。人工智能搞模型。进化生物学搞生命。偶尔借几个词用用,真正的交流并不多。这篇论文直接搭了座桥。自然选择对应学习算法,Learning Algorithm,就是不断更新策略的方法。历史环境对应训练数据,Training Data。未来环境对应测试数据,Test Data。基因调控参数对应模型参数,Model Parameters。
这么一对应,好多现象突然变得好理解了。为什么复杂生命更容易适应变化?为什么有些古老生物环境适应能力惊人?为什么越来越复杂的调控网络没有把生命拖垮?过去每个问题都有自己的解释。现在它们能塞进同一个理论框架里了。
而且这个框架还能反过来帮AI一把。如果生命花了几十亿年找到了一套提高泛化能力的方法,那未来的大模型说不定还能继续跟生命偷师。比如学学生命调控网络的结构,设计出更稳定、更抗干扰的神经网络。你教AI,AI又回来教你,这循环挺有意思。
智能的起点可能比所有人想的都靠前
很多人一直觉得智能来自大脑。后来发现智能可以来自神经网络。这篇论文又往前推了一步。它提出一种更大的可能:智能背后的关键,也许一直都是学习规律这件事本身。不管用的是硅芯片还是DNA,只要能不断学习、不断保留有效规律、不断面对新环境,都会慢慢形成泛化能力。
这意味着生命和人工智能之间,可能没有想象中那么遥远。两者都在不停试错、不停更新、不停保留真正管用的结构。唯一不同的是,一个练了几年,另一个已经练了几十亿年。这么一看,那些最古老的基因调控方式,可能根本不是包袱,而是生命几十亿年攒下来的权重文件。
大模型今天刚刚摸索出来的规律,生命早就用DNA写进了每一个细胞里。很多人以为进化攒下来的是生存经验。这篇研究说,更重要的可能是面对未知问题的通用能力。生命和大模型,原来在干同一件事。只不过一个用代码,一个用碱基。
作者单位背景
美国加州大学欧文分校(University of California, Irvine)生态学与进化生物学系,长期研究进化、生物信息与机器学习交叉方向