发现与证明:Lean 4中困难模式自动定理证明的开源智能体框架

arXiv cs.CL 论文

摘要

本文介绍了 Discover and Prove (DAP),一个用于 Lean 4 自动定理证明的开源智能体框架,针对"困难模式"问题进行优化——即在构造形式化证明前必须独立发现答案。该工作发布了新的困难模式基准变体,达到最先进的结果,同时揭示了 LLM 答案准确率(>80%)与形式化证明器成功率(<10%)之间的巨大差距。

arXiv:2604.15839v1 公告类型:跨领域 摘要:大多数 ATP 基准在形式化陈述中嵌入最终答案——我们称之为"简单模式"——这种设计相比人类竞争者面临的任务更简化,可能导致模型能力估计过于乐观。我们将更严格、更现实的设置称为"困难模式":系统必须在构造形式化证明前独立发现答案。为支持困难模式研究,我们做出两项贡献。首先,我们发布 MiniF2F-Hard 和 FIMO-Hard,两个广泛使用的 ATP 基准的专家重新标注的困难模式变体。其次,我们推出 Discover And Prove (DAP),一个智能体框架,使用带有显式自省的 LLM 自然语言推理来发现答案,然后将困难模式陈述重写为简单模式供现有 ATP 证明器使用。DAP 刷新了最先进水平:在 CombiBench 上,已解决问题从 7 个(先前最先进,Pass@16)提升到 10 个;在 PutnamBench 上,它是首个在困难模式中形式化证明 36 个定理的系统——同时揭示了最先进的 LLM 在答案准确率上超过 80%,而形式化证明器在同一批问题上的成功率不足 10%,暴露出了一个实质性差距,困难模式基准独特地适合测量这一差距。
查看原文
查看缓存全文

缓存时间: 2026/04/20 08:30

# Lean 4中困难模式自动定理证明的开源代理框架

来源:https://arxiv.org/html/2604.15839

刘成武1∗,尹一春2,袁烨1,谢嘉轩3,李博韬4,李思琪4,沈健昊2,徐燕2,尚立峰2,张铭1

1北京大学计算机学院多媒体信息处理国家重点实验室、PKU-Anker LLM Lab
2华为技术有限公司
3北京大学软件与微电子学院
4北京大学电子工程与计算机科学学院

通讯作者:Ming Zhang ([email protected]) (https://arxiv.org/html/2604.15839v1/mailto:[email protected])

## 摘要

大多数自动定理证明基准在形式化陈述中嵌入最终答案——我们称之为"简单模式"——这种设计相对于人类竞争者面临的情况简化了任务,可能导致对模型能力的过于乐观的估计。我们称更严格、更现实的设置为"困难模式":系统必须在构建形式化证明之前独立发现答案。为了支持困难模式研究,我们做出两项贡献。首先,我们发布MiniF2F-Hard和FIMO-Hard,即两个广泛使用的自动定理证明基准的专家重新标注的困难模式变体。其次,我们引入发现与证明(DAP)框架,这是一个代理框架,使用具有显式自反思的大语言模型自然语言推理来发现答案,然后将困难模式陈述重写为简单模式,供现有自动定理证明工具使用。

DAP设定了最先进的水平:在CombiBench上,它将已解决的问题数从7个(先前的最先进水平,Pass@16)提升到10个;在PutnamBench上,它是第一个在困难模式下形式化证明36个定理的系统——同时揭示了最先进的大语言模型在相同问题上的答案准确率超过80%,而形式化证明工具的成功率低于10%,暴露了一个巨大的差距,正是困难模式基准独特地适合测量这一差距。

## 发现与证明:Lean 4困难模式自动定理证明的开源代理框架

刘成武1∗,尹一春2,袁烨1,谢嘉轩3,李博韬4,李思琪4,沈健昊2,徐燕2,尚立峰2,张铭1

1北京大学计算机学院多媒体信息处理国家重点实验室、PKU-Anker LLM Lab
2华为技术有限公司
3北京大学软件与微电子学院
4北京大学电子工程与计算机科学学院

通讯作者:Ming Zhang ([email protected]) (https://arxiv.org/html/2604.15839v1/mailto:[email protected])

**脚注:在华为技术有限公司实习期间完成的工作。代码和数据集可在https://github.com/liuchengwucn/discover-and-prove 获得。**

## 1 引言

利用AI解决数学问题吸引了大量研究兴趣,这不仅是因为它在教育和数学研究等领域的具体应用潜力,而且因为解决高度抽象的数学问题通常需要可能泛化和迁移到复杂现实任务的能力。这些能力包括规划、搜索、演绎推理和归纳。

Yang等人 (2024 (https://arxiv.org/html/2604.15839#bib.bib42))

在数学任务的范围内,竞赛问题——尤其是国际数学奥林匹克竞赛(IMO)级别的问题——获得了特别关注。这些问题超越了数值计算或简单的公式应用。它们通常需要抽象和建模、严格的逻辑论证,通常需要直觉和创意元素。因此,解决IMO级别问题的能力被广泛认为是AI的重要里程碑。

Yang等人 (2024 (https://arxiv.org/html/2604.15839#bib.bib42))

解决数学问题的现有方法分为两大类:非形式方法和形式方法。非形式方法在自然语言中解决数学问题,利用大语言模型(LLMs)的强大推理能力,而形式方法使用Lean、Moura和Ullrich (2021 (https://arxiv.org/html/2604.15839#bib.bib24))以及Isabelle、Nipkow等人 (2002 (https://arxiv.org/html/2604.15839#bib.bib27))等形式语言表达解决方案。形式方法的关键优势是用形式语言编写的证明可以由证明助手程序自动和严格地验证。在国际数学奥林匹克竞赛(IMO)2024上,参赛AI系统采用了形式方法、AlphaProof和AlphaGeometry (2024 (https://arxiv.org/html/2604.15839#bib.bib2))。然而到IMO 2025,大多数评估系统已转向非形式方法、Luong等人 (2025 (https://arxiv.org/html/2604.15839#bib.bib23));Huang和Yang (2025 (https://arxiv.org/html/2604.15839#bib.bib11));Wei (2025 (https://arxiv.org/html/2604.15839#bib.bib35));华为-xiaoyi (2025 (https://arxiv.org/html/2604.15839#bib.bib12))。

我们观察到许多形式化工作中的现有实践通常将最终答案直接嵌入到要证明的陈述中,我们称之为"简单模式"。我们指出简单模式可能会大大降低形式化问题解决任务的难度。为了解决这个问题,我们从先前的工作中获得灵感(PutnamBench、Tsoukalas等人 (2024 (https://arxiv.org/html/2604.15839#bib.bib31))和CombiBench、Liu等人 (2025 (https://arxiv.org/html/2604.15839#bib.bib20))):面向答案的问题在Lean 4中编码了两个独立的目标(两个不同的sorry)。在这种"困难模式"配置中,模型必须首先通过用答案替换第一个sorry来提供最终答案,然后为剩余目标生成传统的形式化证明。这种设置防止了在形式化陈述中嵌入人类竞争者必须独立发现的额外信息。

根据定义,困难模式要求任何人类竞争者必须通过推理推导的数量不作为形式化陈述中的前提提供;它必须由AI系统独立发现。我们采用术语"困难模式"遵循Lean社区的约定;111https://leanprover.zulipchat.com/#narrow/channel/208328-IMO-grand-challenge/topic/IMO.202025.20problem.20statements CombiBench、Liu等人 (2025 (https://arxiv.org/html/2604.15839#bib.bib20))用"不含解决方案"vs"含解决方案"表示相同的区别,而PutnamBench、Tsoukalas等人 (2024 (https://arxiv.org/html/2604.15839#bib.bib31))使用"无答案"vs"含答案"。

图1 (https://arxiv.org/html/2604.15839#S2.F1)呈现了一个说明简单模式和困难模式之间区别的例子。我们委托专家标注者重新标注两个广泛使用的自动定理证明竞赛数据集,即MiniF2F和FIMO,生成MiniF2F-Hard和FIMO-Hard。在重新标注期间,我们更正了现有形式化基准中已知的对齐问题、Wang等人 (2025a (https://arxiv.org/html/2604.15839#bib.bib32));Lin等人 (2025b (https://arxiv.org/html/2604.15839#bib.bib18))。

为了解决困难模式问题,我们介绍发现与证明(DAP)框架,一个完全开源的、基于代理的困难模式自动定理证明框架。DAP包括两个组件:发现模块和证明模块。我们提示开源大语言模型使用自验证程序生成并迭代精化其推理和答案。在发现模块"发现"了一个合理的答案并填充第一个sorry之后,证明模块尝试通过调用传统自动定理证明工具来生成完整的形式化证明。

DAP达到了最先进的结果。在完整PutnamBench数据集上评估,DAP总共解决36个问题。在具有困难模式变体的解决方案式问题上,它解决19个问题——根据我们的了解,这是PutnamBench上这种困难模式评估设置的第一个公开结果。在CombiBench困难模式上,它解决10个问题,显著改进了之前的最先进水平(Kimina-Prover Preview),后者解决了8个问题。

我们的贡献是三方面的。

1. **我们重新标注两个常用的自动定理证明竞赛数据集MiniF2F和FIMO,使得呈现给人类竞争者的任务与给予AI系统的任务对齐,消除简单模式差异,并为评估AI数学能力提供更有原则的基础。**

2. **我们提出DAP,一个开源的、代理式困难模式自动定理证明框架。DAP具有简单明了的设计,在PutnamBench和CombiBench上达到了最先进的性能。**

3. **我们提供了量化我们提出的DAP证明器两个模块对整体性能的个别贡献的分析。这些结果阐明了非形式和形式方法方法在解决竞赛级数学问题中的相对优势。**

## 2 相关工作

**图1:自动定理证明中简单模式和困难模式配置的差异。**所示示例是IMO问题的Lean 4形式化,以两种不同的风格呈现。此示例被特意选中以说明我们重新标注工作纠正的语义失对齐:简单模式形式化仅证明x必须位于某些范围内,但没有确立这些范围内的每个值都是可实现的,将原始当且仅当要求弱化为单向蕴含。相比之下,我们的困难模式形式化将答案表示为集合,从而完全捕获自然语言问题在形式化陈述中的要求。

### 2.1 具有AI系统的数学问题解决

通过CoT提示和RLVR训练的强化,大语言模型在数学推理方面取得了实质性进展。前沿模型(如OpenAI o1、Jaech等人 (2024 (https://arxiv.org/html/2604.15839#bib.bib13))、DeepSeek R1、Guo等人 (2025 (https://arxiv.org/html/2604.15839#bib.bib9))、Google Gemini 2.5 Pro、Comanici等人 (2025 (https://arxiv.org/html/2604.15839#bib.bib7)))现在在广泛使用的数学基准上实现了接近饱和的性能,包括GSM8K、Cobbe等人 (2021 (https://arxiv.org/html/2604.15839#bib.bib6))、MATH-500、Lightman等人 (2023 (https://arxiv.org/html/2604.15839#bib.bib16))和AIME 2024/2025。非形式方法的一个缺点是它们生成的求解轨迹极难自动验证。评估生成的证明的有效性需要领域专家仔细检查以检测细微错误、Lightman等人 (2023 (https://arxiv.org/html/2604.15839#bib.bib16)),这在规模上是不可行的。因此,非形式系统通常应用于仅需要最终数值或符号答案的问题,通过与真值的直接比较进行验证、Wen等人 (2025 (https://arxiv.org/html/2604.15839#bib.bib36))。

### 2.2 自动定理证明

自动定理证明(ATP)的关键优势在于形式化证明可以由证明助手自动和严格地检查、Yousefzadeh和Cao (2025 (https://arxiv.org/html/2604.15839#bib.bib45));Wang等人 (2023 (https://arxiv.org/html/2604.15839#bib.bib33))。尽管形式化方法面临形式化数据可用性有限的挑战、Xin等人 (2024 (https://arxiv.org/html/2604.15839#bib.bib39)),但它们随着更大的大语言模型和扩展搜索计算而迅速进步、Xin等人 (2025 (https://arxiv.org/html/2604.15839#bib.bib40));Chen等人 (2025 (https://arxiv.org/html/2604.15839#bib.bib5))。最近的系统如Kimina-Prover Preview、Wang等人 (2025a (https://arxiv.org/html/2604.15839#bib.bib32))、DeepSeek-Prover-V2、Ren等人 (2025 (https://arxiv.org/html/2604.15839#bib.bib28))和Goedel-Prover-V2、Lin等人 (2025b (https://arxiv.org/html/2604.15839#bib.bib18))在MiniF2F、Zheng等人 (2021 (https://arxiv.org/html/2604.15839#bib.bib48))基准上取得了实质性进展。Seed-Prover、Chen等人 (2025 (https://arxiv.org/html/2604.15839#bib.bib5))是一个引理式整体证明推理模型,通过Lean编译器反馈、已证明的引理和自总结迭代精化证明,在PutnamBench上超过50%并在MiniF2F上饱和。DSP、Jiang等人 (2023 (https://arxiv.org/html/2604.15839#bib.bib14))用自然语言草稿证明和结构化草图指导形式化定理证明者;DSP+、Cao等人 (2025 (https://arxiv.org/html/2604.15839#bib.bib4))用现代推理模型复兴了这一范式。DAP在三个关键方面不同于DSP/DSP+;见附录B (https://arxiv.org/html/2604.15839#A2)了解详细比较。

几个代理框架也针对了基于Lean的ATP、Thakur等人 (2023 (https://arxiv.org/html/2604.15839#bib.bib30));Kumarappan等人 (2024 (https://arxiv.org/html/2604.15839#bib.bib15));Baba等人 (2025 (https://arxiv.org/html/2604.15839#bib.bib3));Wang等人 (2025b (https://arxiv.org/html/2604.15839#bib.bib34));见附录A (https://arxiv.org/html/2604.15839#A1)。

为了处理需要最终答案的非形式数学问题,先前的工作通常通过在形式化陈述中嵌入所需答案并证明该陈述来将需要解决方案的问题转换为证明问题、Zheng等人 (2021 (https://arxiv.org/html/2604.15839#bib.bib48));Liu等人 (2023 (https://arxiv.org/html/2604.15839#bib.bib19));Xiong等人 (2023 (https://arxiv.org/html/2604.15839#bib.bib41))。这种做法提出了两个问题。首先,在陈述中嵌入答案可以降低内在难度:对于许多面向解决方案的问题,主要挑战是发现答案,而不是一旦已知就证明其结果,所以提供它充当了实质性的提示。其次,生成的形式化陈述有时与人类竞争者面临的任务不完全语义对齐。正如先前的分析(例如FMC、Xie等人 (2025 (https://arxiv.org/html/2604.15839#bib.bib38))、OlympiadBench、He等人 (2024 (https://arxiv.org/html/2604.15839#bib.bib10)))指出的那样,一些现有的形式化基准未对齐:一些形式化陈述可能仅捕获人类解决者必须解决的目标的子集。

### 2.3 形式化与数据管理

高质量的形式化数据集稀缺且需要大量专家投入、Xin等人 (2024 (https://arxiv.org/html/2604.15839#bib.bib39))。MiniF2F、Zheng等人 (2021 (https://arxiv.org/html/2604.15839#bib.bib48))是使用最广泛的自动定理证明基准之一,包含来自数学奥林匹克、高中和大学课程的形式化陈述;Kimina-Prover Preview、Wang等人 (2025a (https://arxiv.org/html/2604.15839#bib.bib32))为其问题的子集提供了更正。FIMO、Liu等人 (2023 (https://arxiv.org/html/2604.15839#bib.bib19))由IMO候选名单问题构成,但缺乏公开可用的Lean 4版本,这阻碍了其在最近工作中的采用。PutnamBench、Tsoukalas等人 (2024 (https://arxiv.org/html/2604.15839#bib.bib31))包含Putnam竞赛问题的手工构造形式化,并首次提供了"含答案"和"无答案"评估设置。CombiBench、Liu等人 (2025 (https://arxiv.org/html/2604.15839#bib.bib20))提供100个组合问题,范围从中学水平到IMO和大学水平,补充了其他基准的数论和代数焦点;IMOSLLean4、Sanjaya (2025 (https://arxiv.org/html/2604.15839#bib.bib29))和IMO-Steps、Yousefzadeh和Cao (2024 (https://arxiv.org/html/2604.15839#bib.bib44))额外提供完整证明。为了缓解数据稀缺问题,自动

相似文章

OpenProver: 基于 Lean 4 的智能体和交互式定理证明

arXiv cs.AI

OpenProver 是一个开源系统,利用 Lean 4 进行 LLM 驱动的自动定理证明,采用规划器-工作器-验证器架构,并支持自主和交互两种模式。它实现了数学证明搜索中的可重复评估和人机协同。

OProver:一个统一的代理式形式定理证明框架

Hugging Face Daily Papers

OProver是一个统一的框架,用于Lean 4中的代理式形式定理证明,通过使用经过验证的证明和编译器反馈进行训练,迭代地改进证明生成,在多个基准测试中取得了最先进的结果。

扩展Lean定理证明以验证真实世界代码

Hugging Face Daily Papers

论文提出了EasyProver——一个基于递归智能体和异步搜索的Lean证明系统,使用现成的前沿模型即可在PutnamBench和IMO基准上接近饱和;同时还提出Aegis,一个将竞赛编程转化为更具挑战性的真实世界Rust到Lean验证任务的流水线,可用于基准测试和强化学习。

h1:自动化定理证明中的「苦涩教训」初体验

Hugging Face Daily Papers

一篇论文展示了简单智能体框架(h1)配合高效的 Lean 4 反馈接口,在 PutnamBench、FATE-X 和 FormalConjectures 上达到了最先进的形式定理证明结果,不逊于甚至超越了专门设计的多步工作流,并解决了八个公开问题。作者认为执行接口比复杂的编排更为重要,并警告在未用高效反馈评测前沿模型之前,不要过早规定结构化工作流。

LEAP:利用代理框架增强LLMs在形式数学中的能力

arXiv cs.AI

LEAP是一种代理框架,使通用LLMs能够在Lean中实现形式定理证明的最新性能,解决了2025年普特南竞赛的全部12个问题,并在新基准(Lean-IMO-Bench)上将形式化证明率从低于10%提升至70%,超越了专门系统。