Boolformer简短介绍

虽然传统深度神经网络等机器学习技术在感知任务上取得了显著的成功,但在逻辑和推理问题上的表现仍然有限。这成为开发透明、可信的人工智能的一大障碍。

本文介绍的新 Boolformer 模型为符号逻辑任务提供了一个开创性的解决方案。它代表了第一种机器学习方法,可以仅从输入-输出示例中直接诱导出紧凑的布尔公式。

最重要的是,Boolformer 可以系统地泛化到比训练时更复杂的函数和数据。在其他最先进的模型中,这种更高层次理解的标志仍然难以实现。

学习到的公式对模型的内部运作完全透明,从而开启了可解释性。这与传统神经网络的不透明形成了鲜明对比。可解释性将是安全部署人工智能的关键。

实验证明,在现实世界的二元分类问题上,Boolformer 与随机森林和逻辑回归等经典机器学习技术的预测准确性不相上下,甚至有过之而无不及。但与这些方法不同的是,Boolformer 还能为其预测提供简明、合理的解释。

总之,Boolformer 代表了可解释、符合逻辑和科学思维的机器学习领域的突破性进展。它融合了强大的性能、稳健的泛化和透明的推理,标志着人工智能技术正在向更可信、更有用的系统转变。

存储库包含论文Boolformer:带有转换器的布尔函数的符号回归 的代码。


Boolformer 方法可用于容错计算,原因有几个:

  • 对噪声的鲁棒性 - 模型经过训练,可处理输出位翻转的噪声、不完整数据。这提供了对错误的内在鲁棒性。
  • 近似逻辑 - 能够找到与数据近似匹配的简化布尔公式,从而实现 "足够好 "的电路,以抵御故障。
  • 快速推理 - 该模型只需一次前向传递,因此可在发生故障后快速恢复或重新配置。
  • 电路紧凑 - 简化的公式需要的逻辑门更少。这就减少了电路中故障点的数量。
  • 可解释性 - 通过符号公式可以验证正确性,并在出错后诊断问题。
  • 自动设计 - 该模型可帮助自动合成针对特定应用进行优化的容错电路。
  • 平滑降级 - 近似电路可表现出更平滑的质量降级,而非灾难性故障。

Boolformer 方法与传统的大型语言模型(LLM)(如 GPT)在几个关键方面有所不同:

  • 任务制定 - Boolformer 专门针对逻辑公式的符号回归进行训练,而 LLM 则根据语言建模目标进行训练。
  • 可解释性--离散的符号公式为模型的推理提供了完全的透明度,而 LLM 的内部表示则不透明。
  • 通用性 - Boolformer 在分布外逻辑任务中显示出系统的通用性。而 LLM 往往利用表面形式的捷径,缺乏强大的泛化能力。
  • 推理 - 相对于 LLMs 松散的联想推理,Boolformer 可进行结构化逻辑推理。注意力模式揭示了对变量依赖关系的结构化分析。
  • 样本效率 - Boolformer 可以从 16 个示例等小数据中学习可解释的公式。而 LLM 需要更多数量级的数据才能拟合任意函数。
  • 归纳偏差 - Boolformer 偏向于采用更简单、更通用的外推解决方案。LLM 对其归纳偏差的控制能力较弱。
  • 组合泛化 - Boolformer 可以很好地处理组合空间,而 LLMs 则难以处理数学等组合空间。