将人类的专业知识提炼成一套规则和事实是非常困难、耗时且昂贵的。这被称为“知识获取瓶颈”。
虽然编写数学或逻辑规则很简单，但世界本身却非常模糊。
这正是神经网络擅长的地方：发现模式和接受歧义。
神经网络是一组相对简单的方程式，它们学习一个函数，旨在为系统输入的任何内容提供适当的输出。
例如，训练一个视觉识别系统将确保所有椅子图像聚集在一起，使系统能够梳理出这种无定形类别的一组模糊的不可描述的属性。
这让神经网络可以成功地推断出一个新对象是否是一把椅子，仅仅通过它与其他椅子图像的集群有多接近。
对足够多的对象和足够多的类别执行此操作会产生一个强大的概念空间，其中许多类别以重叠但仍可区分的方式聚集在一起。
这些网络可以精确地训练，因为实现的功能是可区分的。
换句话说，如果符号 AI 类似于符号逻辑中使用的离散标记，那么神经网络就是微积分的连续函数。
这允许通过在学习更好表示的方向上稍微调整变量来实现缓慢、渐进的进展——这意味着在所有数据点和函数在一个类别和另一个类别之间绘制的众多边界之间更好地拟合。
然而，当涉及到严格的规则和离散符号时，这种流动性会带来问题：当我们求解方程时，我们通常想要精确的答案，而不是近似值。
由于这是符号 AI 的亮点，Marcus 建议简单地将两者结合起来：在模式完成 DL 模块之上插入一个硬编码的符号操作模块。
这是很有吸引力的，因为这两种方法可以很好地相互补充，因此看起来似乎有可能一个具有以不同方式工作的模块的“混合”系统将提供两全其美。
这似乎是常识，因为在 DL 工作的每个人都同意符号操作是创建类人 AI 的必要特征。
但争论的焦点是符号操纵是否需要构建到系统中，其中符号和操纵能力是由人类设计并作为操纵离散符号的模块安装的，因此是不可微的——因此与 DL 不兼容。这背后假设前提是神经网络不能进行符号操作的。
当代大型语言模型——例如 GPT-3 和 LaMDA——展示了这种方法的潜力。他们具有令人印象深刻的操纵符号的能力，表现出一定程度的常识推理、组合能力、多语言能力、一些逻辑和数学能力，甚至是模仿死者的令人毛骨悚然的能力。
但他们这样做并不可靠。
当它可以将所有属性分配给单个对象时，它表现良好，但当存在多个对象和多个属性时，它就会遇到困难。
许多研究人员的态度是，这是 DL在通往更像人类智能的道路上的一个障碍。
符号操作是否需要硬编码，或者可以学习吗？
人类思想的本质
著名的“先天论”心理学学派：该学派认为认知的许多关键特征是与生俱来的——实际上，我们在很大程度上天生就有一个关于世界如何运作的直觉模型。
这种先天架构的一个核心特征是符号操作的能力。
这种符号处理能力是常识的许多基本特征的基础：规则遵循、抽象、因果推理、重新识别细节、概括和许多其他能力。简而言之，我们对世界的大部分理解都是天生的，学习是充实细节的过程。
有另一种经验主义观点将此颠倒过来：符号操作在自然界中是罕见的，主要是由于我们的人类祖先在过去 200 万年中逐渐获得的一种学习交流能力而产生的。
按照这种观点，主要的认知能力是与提高生存率相关的非符号学习能力，例如快速识别猎物、预测它们可能的行为以及发展熟练的反应。
这假设绝大多数复杂的认知能力是后天获得的通过一般的、自我监督的学习能力，通过经验获得具有常识核心特征的直觉世界模型。
这种经验主义者的观点将符号和符号操作简单地视为另一种习得能力，随着人类越来越依赖合作行为来取得成功，物种获得了这种能力。
这将符号视为我们用来协调联合活动的发明——比如文字，还有地图、标志性描述、仪式甚至社会角色。这些能力被认为是由于学习的青春期越来越长，以及对更精确、更专业的技能（如工具制造和消防维护）的需求相结合而产生的。
这将符号和符号操作视为主要的文化发明，较少依赖于大脑中的硬接线，更多地依赖于我们社会生活日益复杂的情况。
这两种观点之间的差异是明显的。对于先天论传统，符号和符号操作最初是在头脑中的，而单词和数字的使用则源于这种原始能力。这种观点很有吸引力地将一大堆能力解释为源于进化适应。
对于经验主义传统而言，符号和符号推理是出于一般学习能力和我们复杂的社会世界而产生的用于交流目的的有用发明。
符号操作是否需要硬编码，或者可以学习吗？