从通用人工智能到超级智能:智能爆炸


在人们的普遍想象中,冷战的恐怖主要可以追溯到洛斯阿拉莫斯,即原子弹的发明。但单单原子弹可能被高估了。从原子弹到超级原子弹——氢弹——可以说同样重要。

原子弹是一种更有效的轰炸手段。超级原子弹是一种毁灭国家的武器。

AGI 和超级智能也是如此。

以目前人工智能快速而持续的进步速度,向超级智能的飞跃已经足够疯狂了(如果我们能在 4 年内从 GPT-4 跃升至 AGI,那么再过 4 年或 8 年又会带来什么?)。但如果 AGI 能够实现人工智能研究本身的自动化,那么速度可能会更快。

一旦我们拥有了 AGI,我们将不会只有一个 AGI。

但是:到那时,考虑到推理 GPU 集群,我们很可能能够运行数百万个 GPU(也许相当于 1 亿个人类 GPU,并且很快将达到人类速度的 10 倍以上)。即使它们还不能在办公室里走动或煮咖啡,它们也将能够在计算机上进行 ML 研究。

与领先的 AI 实验室中的几百名研究人员和工程师相比,我们将拥有超过 100,000 倍的研究人员和工程师——他们日夜不停地努力实现算法突破。

是的,递归式的自我改进,但不需要科幻小说;他们只需要加速现有的算法进步趋势线

自动化 AI 研究可能会将人类十年的算法进步压缩到不到一年的时间内(这似乎是保守的)。这将是 5+ OOM
这是一个质的飞跃,就像从学龄前儿童到聪明的高中生一样,在已经像专家 AI 研究人员/工程师一样聪明的 AI 系统之上 。

有几个可能的瓶颈:包括实验的计算能力有限、与人类的互补性以及算法进步变得越来越困难。

不知不觉中,我们就会拥有超级智能——比人类聪明得多的人工智能系统,能够做出我们甚至无法理解的新颖、创造性和复杂行为——甚至可能形成一个由数十亿人组成的小型文明。它们的力量也将是巨大的。将超级智能应用于其他领域的研发,爆炸性进展将从机器学习研究扩大到其他领域;很快它们就会解决机器人技术问题,在几年内在其他科学技术领域取得巨大飞跃,随后将出现工业爆炸。超级智能可能会提供决定性的军事优势,并展现出难以言喻的破坏力。我们将面临人类历史上最紧张、最动荡的时刻之一。 

自动化人工智能研究
对通用人工智能变革性影响的常见反对意见是,人工智能很难做到一切。怀疑者说,以机器人为例;这将是一个棘手的问题,即使人工智能的认知水平达到博士的水平。或者以自动化生物学研发为例,这可能需要大量的物理实验室工作和人体实验。

但是,我们不需要机器人——我们不需要很多东西——让人工智能实现人工智能研究的自动化。领先实验室的人工智能研究人员和工程师的工作可以完全在虚拟环境中完成,而且不会以同样的方式遇到现实世界的瓶颈。

从总体上看,人工智能研究人员的工作相当简单:

  • 阅读机器学习文献并提出新的问题或想法,
  • 实施实验来测试这些想法,
  • 解释结果,然后重复。

这一切似乎都恰好处于这样一个领域:到2027 年底,对当前人工智能能力的简单推断就可以轻松让我们达到或超越最优秀的人类水平。

  • 我们将能够运行数百万份自动化 AI 研究人员的副本(并且很快将以 10 倍以上人类的速度运行)。
  • 这将使我们能够运行数百万个自动化 AI 研究人员的副本,也许相当于 1 亿个人类研究人员,昼夜不停地运行。

另一种思考方式是,考虑到 2027 年的推理队列,我们​​应该能够每天生成价值整个互联网的代币。

此外,我们的自动化人工智能研究人员可能很快就能以比人类更快的速度运行:

  • 通过采取一些推理惩罚,我们可以用运行更少的副本换取以更快的串行速度运行它们。(例如,通过“仅”运行 100 万份自动化研究人员的副本,我们可以将速度从约 5 倍提高到约 100 倍。)
  • 更重要的是,自动化 AI 研究人员研究的第一个算法创新正在实现 10 倍或 100 倍的加速。Gemini 1.5 Flash 比最初发布的 GPT-4 快 10 倍左右,仅仅一年后,在推理基准测试中,GPT-4 的性能就与最初发布的 GPT-4 相当。
  • 如果这是几百名人类研究人员一年内可以找到的算法加速,那么自动化 AI 研究人员将能够很快找到类似的胜利。

也就是说:在我们开始能够实现人工智能研究自动化后不久,预计会有 1 亿名自动化研究人员以 100 倍于人类的速度工作。他们每个人都能在几天内完成一年的工作量。与当今领先的人工智能实验室中几百名微不足道的人类研究人员以 1 倍于人类的速度工作相比,研究工作量的增加将是惊人的。 

这很容易大大加速算法进步的现有趋势,将十年的进步压缩到一年。

可能的瓶颈
虽然这个基本故事出人意料地强大——并且得到了彻底的经济模型工作的支持——但仍存在一些真实且合理的瓶颈,可能会减缓自动化人工智能研究智能的爆炸式增长。 

我将在这里给出一个总结,然后在下面的可选部分中为感兴趣的人更详细地讨论这些内容:

  • 有限的计算
  • 互补性/长尾效应:经济学的一个经典教训(参见鲍莫尔的增长病)是,如果你能将某件事的 70% 自动化,你会获得一些收益,但剩下的 30% 很快就会成为你的瓶颈。
  • 算法进步的固有限制:当前的架构和训练算法仍然非常初级,而且似乎应该可以实现更高效的方案。生物学参考类也大大支持了更高效的算法成为可能。 类人脑:能效提高100万倍! 
  • 创意越来越难,我认为这个基本模型是正确的,但实证研究却不合逻辑:研究工作量增加的幅度——一百万倍——远远大于维持进步所必需的研究工作量增长的历史趋势。
  • 创意越来越难找到,而且收益递减,即使自动化人工智能研究人员最初取得了突飞猛进的进展,快速进展能否持续取决于算法进展收益递减曲线的形状。


超级智能ASI的力量
到本世纪末我们可能拥有的人工智能系统将强大得难以想象。

当然,它们在数量上将是超人。到本世纪末,我们将拥有数亿个 GPU ,能够运行数十亿个 GPU 组成的文明,它们的“思考”速度将比人类快几个数量级。它们将能够快速掌握任何领域,编写数万亿行代码,阅读所有科学领域的每篇研究论文(它们将是完美的跨学科!)并在你读完一篇摘要之前就写出新的论文,从每一份副本的平行经验中学习,在几周内通过一些新创新获得相当于人类数十亿年的经验,100% 的时间以最佳精力和专注度工作,不会因为某个落后的队友而放慢速度,等等。 

更重要的是——但更难想象——它们将在质量上超越人类。举一个狭义的例子,大规模强化学习运行已经能够产生超出人类理解的全新和创造性行为,比如AlphaGo 与李世石对决中著名的第 37 步。超级智能将在许多领域实现这一点。它会在人类代码中发现人类无法察觉的细微漏洞,它会生成人类无法理解的复杂代码,即使模型花费数十年时间试图解释它。

预计爆炸性进展将扩大:

  • 人工智能能力大爆发。 也许我们最初的 AGI 存在一些局限性,导致它们无法完全自动化其他领域的工作(而不仅仅是人工智能研究领域);自动化人工智能研究将很快解决这些问题,使任何认知工作都实现自动化。
  • 解决机器人问题。 超级智能不会长期停留在纯粹的认知阶段。让机器人正常工作主要是 ML 算法问题(而不是硬件问题),我们的自动化 AI 研究人员很可能能够解决这个问题(下文详述)。工厂将从人工运营转变为使用人工体力劳动的 AI 指挥,很快将完全由机器人群运营。
  • 大大加快科学技术进步。是的,爱因斯坦一个人无法发展神经科学并建立半导体产业,但十亿超级智能自动化科学家、工程师、技术专家和机器人技术人员(机器人的移动速度是人类的 10 倍甚至更高!)将在数年内在许多领域取得非凡的进步。(这里有一个简短的故事,形象地展示了人工智能驱动的研发可能是什么样子。)十亿超级智能将能够将人类研究人员在下个世纪所做的研发工作压缩到几年内。想象一下,如果 20 世纪的技术进步被压缩到不到十年的时间。我们将在几年内从被认为是海市蜃楼的飞行,到飞机,再到登月和洲际弹道导弹。这就是我预计 2030 年代科学和技术领域的情况。 
  • 工业和经济爆炸式增长。 极速的技术进步,加上所有人类劳动的自动化能力,可以大大加速经济增长(想想:自我复制的机器人工厂迅速覆盖整个内华达沙漠)。增长率可能不会只是从每年 2% 提高到每年 2.5%;相反,这将是增长机制的根本性转变,更类似于工业革命时期从非常缓慢的增长到每年几个百分点的历史性转变。我们可以看到经济增长率达到每年 30% 甚至更高,很可能每年翻一番。这与经济学家的经济增长模型相当直接。
  • 提供决定性的、压倒性的军事优势。 即使是早期的认知超级智能也可能足够了;也许一些超人的黑客计划可以摧毁敌方军队。无论如何,军事力量和技术进步在历史上一直紧密相连,而随着技术的飞速进步,军事革命也将随之而来。无人机群和机器人军队将是一件大事,但它们只是开始;我们应该期待全新的武器,从新型大规模杀伤性武器到坚不可摧的激光导弹防御系统,再到我们目前无法想象的东西。与超级智能出现之前的武器库相比,这就像 21 世纪的军队与 19 世纪的马匹和刺刀旅作战
  • 能够推翻美国政府。 谁控制了超级智能,谁就很可能拥有足够的力量从前超级智能力量手中夺取控制权。即使没有机器人,超级智能的小文明也能够入侵任何不设防的军事、选举、电视等系统,巧妙地说服将军和选民,在经济上胜过民族国家,设计新的合成生物武器,然后用比特币付钱给人类来合成,等等。他们没有神一般的力量,但旧世界的技术优势以及战略和外交手段的优势让他们获得了绝对决定性的优势。超级智能可能看起来很相似。 

智能爆炸和后超级智能时期将是人类历史上最动荡、最紧张、最危险和最疯狂的时期之一。 

到本世纪末,我们很可能将身处其中。 

面对智能爆炸的可能性--超级智能的出现--常常与早期围绕核链式反应的可能性以及由此产生的原子弹的争论相呼应。

  • 威尔斯(HG Wells)在 1914 年的一部小说中预言了原子弹的出现。
  • 1933 年,当斯齐拉德首次构想出链式反应的概念时,他无法说服任何人,因为那纯粹是理论。
  • 1938 年裂变被实证发现后,西拉德再次惊慌失措,极力主张保密,一些人开始意识到原子弹的可能性。
  • 爱因斯坦没有考虑过链式反应的可能性,但当西拉德与他对质时,他很快就看到了其中的含义,并愿意做任何需要做的事;他愿意敲响警钟,而且不怕听起来愚蠢。
  • 但费米、玻尔和大多数科学家认为,"保守 "的做法是淡化它,而不是认真对待原子弹可能性的非凡意义。保密(以避免与德国人分享他们的进展)和其他全力以赴的努力在他们看来是荒谬的。

链式连锁反应听起来太疯狂了(即使事实证明,原子弹距离成为现实只有半年时间)。

  • 我们必须再次面对连锁反应的可能性。
  • 也许对你来说,这听起来是一种推测。
  • 但在人工智能实验室的资深科学家中,许多人认为智能的快速爆炸是非常有可能发生的。
  • 他们看得见。超级智能是可能的。