南辕北辙：大语言模型不会通向AGI？

banq

这些有意义吗？

  • 微软正在重新启动三哩岛核电站，以便为其下一代 AI 数据中心之一提供电力。
  • Anthropic.ai 的首席执行官预测，我们很快将需要价值 1000 亿美元的模型。
  • 萨姆·奥特曼 正在寻求 7 万亿美元来实现 AGI。

是的，大语言模型 (LLM) 将会变得更好、更快、更便宜。

但它们 并不能帮助我们实现 AGI：

1、Yann LeCun - Meta首席人工智能科学家：

  • 在通往[人工通用智能]的道路上，大型语言模型基本上是一个出口、一个干扰、一个死胡同。

2、Demis Hassabis - Google DeepMind首席执行官：
  • 深度学习...肯定不足以解决人工智能问题，远远不够。

3、山姆奥特曼 - OpenAI首席执行官：
  • 我们需要另一个突破...语言模型不会导致通用人工智能的出现。

大语言模型更根本的问题是：他们无法实时逐步学习（更新核心模型）。这意味着，即使是价值 1000 亿美元的模型也无法适应新数据，必须定期丢弃，然后从头开始构建新模型。这一限制是由所有 LLM 都基于的“Transformer”技术决定的，而这正是其令人印象深刻的功能的核心。

GPT：

  • 生成式（编造内容）。
  • 预训练式（学习读）。
  • 基于 Transformer 的（需要像训练一样进行批量反向传播）。

现在考虑一下：
  • 一个孩子最多只需要几百万个单词就可以学习语言和基本推理，而不是几十或几百万亿个单词。
  • 还要考虑到我们的大脑仅靠大约 20 瓦的电力运行——它们不需要核级的能量来“构建模型”。

（banq注：可能因为大脑容量和处理能力有限，使用数据的抽象压缩以供大脑处理。LLM不能模仿人类，人类是从有限资源中艰苦进化生存下来的，就如同不能让你孩子和你一样受尽创业成长辛苦，这样做不会让他们爱惜你打下的江山）

从第一原理我们知道，用更少的数量级的能量和数据就可能达到人类水平的智能。
（banq注：这个假设恐怕与第一性原理无关，只是从人类大脑的一个类比，人类大脑进化的上下文环境与我们制造大脑的上下文环境不同，没有必要僵化地照抄历史）

我们如何利用人工智能实现这一目标？关键在于首先要清楚了解人类智能如此强大的原因。这是一种认知人工智能方法，与大数据统计人工智能不同：

  • 这些能力包括实时增量学习、概念学习和从非常有限的数据中学习的能力 。

（banq注：关键是人类自己无法了解人类智能如此强大原因，爱因斯坦大脑还保存在那里，对智能定义还存在分歧）

认知人工智能 （DARPA 也称之为“第三次人工智能浪潮”）始于确定人类智能的核心需求。
例如，一个孩子只需一张图片就能学会识别长颈鹿——我们不需要数百个例子。我们还可以仅用几个例子来概括情况，并将这些知识应用于非常多样化的情况（这称为“迁移学习”，举一反三）。重要的是，我们还通过元认知来监控和控制我们的思维和推理：我们能够反思我们的思维情况，思维的思维。

INSA（集成神经符号架构）是这种认知 AI 方法的一个实际例子，它有望实现 AGI，所需的训练数据和功率将减少许多个数量级，并且可以不断学习和适应。无需不断丢弃模型并从头开始构建新模型。

AGI定义AGI 中的“G”指的是心理测量学中使用的“g”，表示“人类的一般认知能力”，即我们自适应地学习各种各样的任务和解决各种各样的问题的能力，而不是某种神奇的、理论上的解决任何科学、数学或逻辑问题的能力。

另一个常见的误解是，AGI 除了需要具备所需的 认知 能力之外，还需要与人类相似。不，它不需要具备人类发展和情感的所有怪癖。一个很好的比喻是，我们已经拥有“飞行机器” 100 多年了，但还远远没有对鸟类进行逆向工程。对于 AGI，我们感兴趣的是建造“思考机器”，而不是逆向工程人类大脑。

那么我们如何实现 AGI 呢？答案在于认知 人工智能， 而不是生成人工智能或统计人工智能。

  • 当前的大语言模型和其他大数据方法属于第二次浪潮。
  • DARPA 将这种基于认知的方法称为人工智能的第三次浪潮。

认知人工智能始于对人类智能如此特殊的关注和深刻理解，而不是“我们拥有大量数据和计算能力——我们能用它做什么”。它专门设计了自适应、概念、交互式高级智能的核心要求。

(banq注：这里有一个假设前提错误，就是认为统计AI不是认知AI，其实这是很可笑的常识错误，生物学中大量是研究相关关系的统计论文，关系而不是因果关系才是真实的，科学还原论方法的问题就是要找到因果关系，可惜很多系统是涌现关系，1+1>2，为什么大于2，不是你还原到两个1的里面去寻找，也不是你通过1+1关系寻找，而是涌现出你未认识到的因素，你永远只是盲人摸象，是探索，真相处于你所在洞穴上下文之外。)

李飞飞创业
李飞飞博士是一位著名的华人AI女科学家，她在人工智能领域有着深厚的影响力。她最为人所知的成就是创建了ImageNet，这是一个大型的图像识别数据库，对于深度学习和计算机视觉的发展有着深远的影响。她在人工智能领域的工作得到了广泛的认可，包括当选为美国国家工程院院士、美国国家医学院院士，以及美国艺术与科学院院士。
关于有人说李

最近，她创立了一家专注于空间智能的AI公司World Labs，该公司在短时间内迅速成长为独角兽公司，估值超过10亿美元。World Labs致力于发展AI的空间智能，以解决AI在三维空间感知和理解方面的难题，这对于推动AI技术的发展具有重要意义

有些人可能会认为李飞飞“其实不懂大语言模型”，原因可能有以下几点：

  1. 研究领域不同：李飞飞的主要研究领域是计算机视觉，而大语言模型属于自然语言处理领域。这两个领域虽然都属于人工智能，但它们的核心技术、模型和应用场景是不同的。因此，她可能不如一些专注于语言模型研究的专家那样深入了解该领域的最新进展。
  2. 大语言模型的复杂性：大语言模型（如 GPT 系列、BERT 等）是非常复杂且快速发展的领域，涉及语义理解、生成式模型、上下文建模等。如果某个专家的研究重点不在这方面，外界可能会误认为其“不了解”这些模型，即便她可能对其背后的核心技术原理有足够的理解。