论文总结:
- 本文证明了传统的transformers和类似的架构不是图灵完备的,而Find+Replace transformers是图灵完备的。
- 本文提出了一种新的架构,即Find+Replace transformers,证明了它在一些挑战性任务上优于GPT-4。
- 本文展示了Find+Replace transformers在复合挑战问题上的优越性能,旨在为多transformer架构提供理论基础并鼓励进一步研究。
原文点击标题:
图灵完整的变压器transformer:两个变压器比一个更强大 :
我们证明了transformers不是图灵完备的,提出了一个图灵完备的新架构,并通过经验证明了新架构可以比transformers更有效地推广。
本文介绍了Find+Replace transformers,这是一系列多变压器架构,可以证明它可以完成单个变压器无法完成的任务,并且在几项具有挑战性的任务上优于GPT-4。
我们首先确定传统的transformer和类似的架构不是图灵完备的,而Find+Replace transformer是。
利用这一事实,我们展示了如何任意程序可以编译成查找+替换变压器,潜在的帮助可解释性研究。
我们还证明了上级性能的查找+替换变压器GPT-4上的一组组成的挑战问题。
本文的工作旨在为多变压器体系结构提供理论基础,并鼓励其进一步探索。
总结
本文介绍了Find+Replace变压器,这是一种多变压器架构,可以证明其能够做到传统变压器无法实现的功能,并且在几个具有挑战性的任务上优于GPT-4。首先,我们证明了传统变压器和类似的架构不是图灵完备的,而Find+Replace变压器是图灵完备的。利用这一事实,我们展示了如何将任意程序编译成Find+Replace变压器,潜在地有助于解释性研究。我们还通过一组复合挑战问题的实验结果展示了Find+Replace变压器相对于GPT-4的优越性能。本文旨在为多变压器架构提供理论基础,并鼓励进一步探索该领域。
讨论:
- 首先,作者证明了transformers不是图灵完备的。这并不奇怪,但有趣的是:作者展示(并证明)了两个非图灵完备的东西可以共同构成一个图灵完备的东西。
- 他们的方法基本上是“用一条带子把两个人绑在一起,做成一台图灵机”。伟大的直觉,更好的执行力。
- 在某种程度上,这篇论文使用了令人好奇的随意语言: “在最后一节中,我们想详细讨论我们的结果的含义。“
- 我期待LK-99超导体,而我得到的却是另一个重大的人工智能突破