Gary Marcus 的文章《AlphaProof、AlphaGeometry、ChatGPT 以及为什么 AI 的未来是神经符号化的》讨论了生成式 AI 的局限性，例如 ChatGPT 等模型，并主张向神经符号化 AI 转变。
Marcus 认为，生成式 AI 已经进入瓶颈期，存在幻觉和错误等持续存在的问题，并且缺乏“杀手级应用”来维持其炒作。 他预测生成式 AI 的受欢迎程度会下降，可能会导致类似于 20 世纪 80 年代中期的 AI 寒冬。
Marcus 强调，生成式人工智能的核心问题在于其不可靠性，因为这些系统的功能更像是高级查找表，而不是真正的推理实体。
他列举了一些 ChatGPT 未能运用常识或推理解决问题的例子，并将这些失败归咎于模型对训练数据的依赖以及缺乏内在的健全性检查机制。
随后，文章将焦点转移到神经符号 AI，它将神经网络与符号推理系统相结合：
在我的整个职业生涯中，我有时在认知科学（主要关注自然智能）的背景下，有时在 AI（人工智能）的背景下，倡导混合方法，有时称为神经符号AI，因为它们结合了目前流行的“神经网络”方法（大致受到 20 世纪 60 年代神经科学的启发）与逻辑、计算机编程和经典人工智能中普遍存在的符号方法。
这个想法是尝试兼具两个领域的优点，将擅长从熟悉的例子（类似卡尼曼的系统 I 和系统 II）中快速获得直觉的神经网络与使用形式逻辑和其他推理工具（类似卡尼曼的系统 II）的明确符号系统相结合（类似于卡尼曼的系统 I 和系统 II）。
你可能会认为这种调和的必要性是显而易见的，事实上这也是我 2001 年出版的《代数思维》一书的中心思想，正如该书副标题所说，该书试图将联结主义（神经网络）与符号操纵的认知科学相结合。
AI三大教父中两位最具影响力的人物（在我看来也是最被误导的人物）杰弗里·辛顿和扬立昆多年来一直反对这种潜在的方法，尽管原因各不相同，但从未得到充分解释。
例如:
- LeCun 最近表达了他对 X 的悲观态度，他说“至少可以说，我对 [神经符号方法] 持非常怀疑的态度。你不能让逻辑推理与基于梯度的学习兼容，因为它是离散的和不可微分的”（在我看来，这表明想象力不足，我们将在下文中讨论这个问题）。
- Hinton 则认为，将符号和神经网络结合起来就像是将燃气发动机（他是这样描述符号系统的）毫无必要地塞到更时髦、更现代的电动发动机上。
OpenAI 在很大程度上坚持了 Hinton 和 LeCun 的信条，将大部分精力集中在“扩展” LLM（利用更多数据使它们越来越大）上，并努力避免使用符号和符号规则（并在使用它们时将它们隐藏在幕后）。
大多数其他大公司和投资者也是如此，他们更喜欢短期内唾手可得的成果，而不是冒着巨大的风险去实现可能真正改变该领域的新想法。
正如菲尔·利宾今天早上在短信中给我说的那样，“人工智能的进步需要算法创新，而不仅仅是规模。为什么这会引起争议？因为算法创新是不可预测和民主化的。现在金钱在发号施令，金钱是急躁和专横的。作为一名投资者，我宁愿投入一万亿美元建造芯片工厂（并在途中收取一些费用），也不愿为未来的发明冒险。”
因此，当前的短期投资环境极大地阻碍了真正的创新和跳出框框的思维。
因此，在大多数情况下，我们都被困在这样一个世界里：所有大型科技公司都在构建完全相同的东西（基于更多数据的越来越大的 LLM），实现几乎完全相同的结果（一堆 GPT-4 级别的模型，彼此几乎没有区别，都在与幻觉和愚蠢的错误作斗争），而且几乎没有在其他任何事情上进行投资。
好消息是，DeepMind（现为 GoogleDeepMind，下称 GDM）从未如此教条，而且总是更愿意冒险。
Marcus 赞扬了 Google DeepMind 最近在 AlphaProof 和 AlphaGeometry 方面的工作，这些神经符号系统在数学定理证明和几何学中表现出了良好的效果。这些系统将快速、直观的神经网络处理与深思熟虑、合乎逻辑的符号推理相结合，有可能克服纯生成模型的局限性。
AlphaGeometry 是一个神经符号系统，由神经语言模型和符号推理引擎组成，它们共同寻找复杂几何定理的证明。类似于“思考，快与慢”的理念，一个系统提供快速、“直观”的想法，另一个系统提供更慎重、更理性的决策。
尽管我很欣赏这两套新系统，但它们确实存在一个严重的缺点，而且这个缺点并不为人所知。这两个系统都依赖于一种对输入的欺骗：训练有素的人类程序员将所有奥林匹克竞赛的输入句子翻译成数学形式。
毋庸置疑，如果我们仍然需要人类程序员参与其中，那么我们实际上并没有自主的人工智能。
总结 神经网络和符号系统可以有效地结合起来：
- 这与 Hinton 和 LeCun 的观点相反。
- 但是，Google DeepMind 已经先行一步做到了这一点。
最好，Marcus 总结道：虽然神经符号人工智能不是万能药，但它代表着迈向更可靠、更强大的人工智能系统的关键一步。他呼吁更广泛地采用这种混合方法，推动该领域超越目前生成式人工智能的限制。
在没有“系统 II”符号操纵机制的情况下，期望人工智能“解决”通用人工智能就像期望熊解决量子力学一样。没有神经符号人工智能，就不可能实现通用人工智能。Marcus 很高兴看到 GoogleDeepMind 终于朝这个方向迈进了。
网友： 1、我知道这是一个有争议的话题，而且说实话，我本人也不是加里的忠实粉丝，但我想简单解释一下为什么 AGI 需要符号操作。
归根结底，当前的 ML 框架是通过获取数据、为数据建模，然后迭代该模型以更好地适应数据来运行的。 这是人类和所有生物都会做的事情。 但是，包括人类在内的许多动物做的远不止这些。
当我们要理解抽象概念时，问题就来了，一个问题是，我们的操作抽象程度如此之高，以至于很容易错过。 毕竟，我们被设计成更善于识别差异，因为这可以在正常工作环境下节省能源。
问题是，模式识别并不能为我们的抽象水平带来可行的途径。 也许这一点并不明显，但我们是符号操纵者。
- 我们的语言由符号操作、代码和数学组成。
我们都知道，数值/经验解法与分析解法有很大不同。 后者被认为更难，也更严谨。 后者具有天然的因果性和可解释性。 我们之所以做数字和经验研究，是因为存在局限性。但分析学正是物理学家能够坐在房间里，拿着纸笔，（最终）发现基本自然规律的原因。这些成就中的许多都无法仅靠观察来解决。
但这些方程都是符号化的。 符号就是抽象。 符号学的一大优势在于，一旦我们能够制定解法和符号系统的规则，我们就可以随心所欲地进行操作。 这比数字解法要灵活得多。
这就是理论家存在的根本原因！ 它让我们能够快速准确地提出新问题，发现错误或局限性。 通过这种操作，我们可以问为什么万有引力是平方反比定律，也可以理解为什么万有引力恰好是 2而不是接近 2。
它允许我们抛开我们可能称之为常数的概念，求解当前可处理的因子，甚至随后确定这个常数是什么（通常是实验人员的工作）。
我们甚至还可以问自己，如何将常数分解成其他因子。
符号的特性允许我们进行模式匹配，这是数字无法做到的。
- 这是数字无法实现的高度抽象。
- 而我们必须依靠抽象来创造和理解世界的本质。
因此，人工智能/人工智能领域的重大问题并不在于这些系统是否需要进行符号运算。 而是机器能否学会通过数字进行符号操作。 这一点仍是未知数，而且正反两方面都有争论（目前，反对通过数据处理来实现这一目标的理由更为充分）。 唯一天真的做法就是不要同时走这两条路（其实有很多条路）。
我们正在向未知领域进军。 通过我们一直使用的方法，我们已经取得了长足的进步，这也是我们继续沿着这条路走下去的理由。
但同时，这也不是我们追求其他方法的理由。
我们过去从未见过这种情况。 所有技术都会经历外人无法察觉的剧变。
- 试想一下，如果我们不追求锂电池，因为铅酸电池还在工作。
- 如果我们不追求晶体管，因为真空管在工作。
- 发光二极管是因为白炽灯。
数字导致符号的问题还没有定论，但从另一个角度来看，我们知道符号是必要的（或者至少我们知道符号足以产生智能）。
2、人类和 LLM 之间有很多不同，但最高层次的不同是人类是存在于连续时间中的自主代理，而 transformer 的生命周期是计算单个 token 所需的时间。
- 对多个 token 重复该过程，你会得到更复杂的东西。
- 添加一个外部环回，你就有了一个有记忆的聊天机器人，它在一定程度上能够做一些“单词预测器”意想不到的事情。
- 让环回变得更复杂，你突然就有一个……存在于连续时间中的自主系统。