谷歌DeepMind首次借助大模型用代码解决了数学难题

在今天发表在《自然》杂志上的一篇论文中,研究人员表示,这是第一次使用大型语言模型来发现数学难题。

FunSearch,之所以叫 FunSearch,是因为它能搜索数学函数,而不是因为它很有趣fun,fun是function简写,延续了 DeepMind 利用人工智能在基础数学和计算机科学领域的一系列发现。

DeepMind 以前的两个方法:

  1. AlphaTensor 找到了一种方法,可以加快作为多种代码核心的计算速度,打破了 50 年来的记录。
  2. AlphaDev 找到了让每天使用数万亿次的关键算法更快运行的方法。

然而,这些工具并没有使用大型语言模型。这两款工具都建立在 DeepMind 的游戏人工智能 AlphaZero 的基础上,将数学问题当作围棋或国际象棋中的谜题来解决,AlphaTensor 擅长矩阵乘法,但基本上不擅长其他。

FunSearch 采用的是另一种方法:
它结合了一个名为 "Codey "的大型语言模型,该模型是谷歌 PaLM 2 的一个版本,在计算机代码上进行了微调。

在项目之初,研究人员根本不知道是否可行。

研究人员首先用 Python(一种流行的编程语言)勾勒出他们想要解决的问题。但是,他们遗漏了程序中指定如何解决问题的行。这就是 FunSearch 的用武之地。它让 Codey 填上空白,实际上就是提出解决问题的代码。

经过几百万次建议和整个过程的几十次重复--这花了几天时间--FunSearch 最终提出了一套代码:为 "上限集合 "问题提供了一个正确的、以前未知的解决方案。

"上限集合 "问题:在图纸上画点,上限集合问题就好比是要找出你能放下多少个点,而其中没有三个点能形成一条直线。

这个问题超级小众,但很重要。数学家们甚至连如何求解它都没有达成一致,更不用说求解方法是什么了。加州大学洛杉矶分校的陶哲轩(Terence Tao)曾获得过包括菲尔兹奖在内的许多数学界最高奖项,他在 2007 年的一篇博客文章中称上限集问题是 "也许是我最喜欢的开放性问题"。

FunSearch 的一个关键优势在于,理论上它可以用于寻找各种问题的解决方案。这是因为它产生的是代码--生成解决方案的配方,而不是解决方案本身。不同的代码可以解决不同的问题。FunSearch 的结果也更容易理解。配方往往比它产生的奇怪数学解决方案更清晰。

为了测试 FunSearch 的多功能性,研究人员使用 FunSearch 解决了数学中的另一个难题:垃圾箱打包问题。这对于计算机科学的一系列应用,从数据中心管理到电子商务,都非常重要。FunSearch 想出了一种比人类发明的方法更快的方法来解决这个问题。