FunSearch：利用大型语言模型在数学科学中发现新知

原创 | 文 BFT机器人?

近日，Alhussein Fawzi和Bernardino Romera Paredes在Nature杂志上发表了一篇题为《FunSearch：利用大型语言模型在数学科学中发现新知》的论文。通过搜索计算机代码中的“函数”，FunSearch首次利用大型语言模型在数学科学中的开放性问题上取得了新的发现。

大型语言模型（LLMs）是强大的助手，它们擅长将概念结合起来，可以读、写和编码，帮助人们解决问题。然而，由于LLMs已被证明“产生幻觉”且提供事实不准确的信息，使用它们进行可验证的正确发现是一项挑战。

但如果我们能够利用LLMs的创造力，在其最佳思想基础上进行识别并探索，是否可以发现新知呢？

在这篇文章中，研究人员介绍了FunSearch，这是一种在数学和计算机科学中搜索新解的方法。FunSearch通过将一个经过预训练的LLM与一个自动化的“评估器”配对，以防止产生幻觉和错误的思想。通过在这两个组件之间迭代，初始解决方案“演变”成为新的知识。该系统通过搜索以计算机代码形式编写的“函数”来工作，因此得名FunSearch。

FunSearch整体流程示意图

这项工作首次在科学或数学中利用LLMs实现了对具有挑战性的开放性问题的新发现。FunSearch为“cap set”问题发现了新的解决方案，攻克了数学领域的一大难题。

此外，为了展示FunSearch的实际用途，研究人员使用它发现了更有效的“bin-packing”问题算法，该问题在数据中心等方面具有广泛的应用。

科学进步一直依赖于分享新的理解。FunSearch成为一个特别强大的科学工具的原因在于，它输出了揭示解决方案构建方式，而不仅仅是提供解决方案。研究人员希望这能够激发使用FunSearch的科学家进一步洞察，推动改进和发现的良性循环。

FunSearch采用由LLMs驱动的演进方法，促使并发展最高评分的思想。这些思想以计算机程序的形式表达，以便自动运行和评估。

该过程是迭代的，系统在每次迭代时从当前程序池中选择一些程序，将其传递给LLM。LLM在这些程序的基础上进行创造性构建，并生成新的程序，这些程序将自动进行评估。最好的程序被添加回到现有程序池中，形成一个不断改进的循环。

交互式图表显示了从种子程序（上）到新的高分函数（下）的演变

FunSearch的结果表明，这种技术可以将我们带入困难组合问题的已建立结果之外，而在这些问题上建立直观可能很困难的情况下，我们期望这种方法在组合数学等领域中发挥作用。

虽然发现新的数学知识本身就是重要的，但FunSearch方法在传统计算机搜索技术上提供了额外的好处。因为FunSearch不是一个仅生成问题解决方案的黑盒，而是生成描述这些解决方案是如何得到的程序。这种展示工作方式是科学家通常操作的方式，通过解释用于产生新发现或现象的过程。

左：通过检查FunSearch生成的代码，研究人员获得了更多可操作的见解（标亮）；右：使用左侧更短的程序构建的原始「可接受」集合

FunSearch更偏向于发现由高度简洁且人类可解释的程序表示的解决方案。短程序可以描述非常大的对象，使FunSearch能够扩展到大型的“大海捞针”问题。此外，这使得FunSearch的程序输出对研究人员来说更容易理解。这种对程序的解释性可以为研究人员提供可操作的见解。

鼓舞人心的是，FunSearch不仅在理论上取得了成功，还在计算机科学中取得了实际挑战的成功。与理论性的cap set问题不同，实际的“bin packing”问题涉及将不同大小的物品放入最少数量的箱中。尽管与cap set问题非常不同，但FunSearch在解决这个问题上表现出色。FunSearch生成了一个自动定制的程序，适应于数据的特定情况，比已有的启发式方法更有效。

现有启发式算法：Best-fit 启发式（左）和 FunSearch 发现的启发式（右）进行装箱的示例

FunSearch的成功表明，如果我们防范LLMs的幻觉，我们可以利用这些模型的力量，不仅在数学上进行新的发现，还可以揭示解决重要实际问题的潜在有效方法。我们预见，对于科学和工业中的许多问题，无论是长期存在的问题还是新的问题，使用LLM驱动的方法生成有效和定制的算法将成为常规做法。

这仅仅是一个开始。FunSearch将随着LLMs的更广泛进展而改进，我们还将努力拓展其能力，以解决社会面临的各种紧迫的科学和工程挑战。

若您对该文章内容有任何疑问，请与我们联系，我们将及时回应。