@rohanpaul_ai:Meta 和纽约大学的新论文表明,一个配备优秀 Lean 工具并投入更多算力的简单循环,就能达到或超越手工构建的定理……

X AI KOLs Timeline 论文

摘要

Meta 和纽约大学的一篇新论文表明,h1 这一为模型提供快速 Lean 反馈和搜索工具的简单智能体循环,能够匹敌甚至超越人工设计的定理证明工作流:它以更低的成本在 PutnamBench 上超过了 Goedel-Architect(解出 598 题,后者为 597 题);搭配 Opus 4.8 时,它解出了 100 道高难度代数题中的 83 道,而 Claude Code 解出了 63 道。

Meta 和纽约大学的一篇新论文表明,只要配备好用的 Lean 工具并投入更多计算资源,一个简单的循环就能达到或超越精心设计的定理证明工作流。 用 Lean(一种可由计算机检验证明的语言)编写数学证明的系统,越来越多地采用人工设计的工作流,对问题进行规划和拆分。但这些系统的性能提升往往伴随着更强的模型或更多的计算资源,掩盖了工作流本身带来的贡献。 研究人员构建了 h1:一个为模型提供快速 Lean 反馈和搜索工具的循环,让模型在每次检查失败后继续尝试。它不强制要求制定计划,只要求在每一轮开始前总结进展。 使用相同模型时,h1 在 PutnamBench 上以解出 598 道题的成绩击败了人工构建的 Goedel-Architect,后者解出了 597 道题;每道题的成本分别为 1.08 美元和 1.47 美元。工具接口仍然很重要:使用 Opus 4.8 时,h1 解出了 100 道高难度代数题中的 83 道,而 Claude Code 解出了 63 道。
查看原文
查看缓存全文

缓存时间: 2026/11/01 19:57

Meta 和纽约大学的一篇新论文表明,配备优质 Lean 工具并投入更多算力的简单循环,就能达到或超越手工设计的定理证明工作流。

使用 Lean(一种可由计算机验证的语言)编写数学证明的系统,越来越多地采用手工设计的工作流来规划和拆解问题。这些系统的性能提升往往伴随着更强的模型或更多的算力,让人难以看清工作流本身带来了多少增益。

研究人员构建了 h1,这是一个为模型提供快速 Lean 反馈和搜索工具的循环,并让模型在每次验证失败后继续尝试。它不强制采用任何计划,只在每一轮开始前提供一份进展摘要。

使用相同模型时,h1 在 PutnamBench 上以解出 598 道题的成绩超过了手工设计的 Goedel-Architect 的 597 道,每道题的成本分别为 1.08 美元和 1.47 美元。接口仍然很重要:使用 Opus 4.8 时,h1 解出了 100 道高难度代数题中的 83 道,而 Claude Code 解出了 63 道。

相似文章

h1:自动化定理证明中的「苦涩教训」初体验

Hugging Face Daily Papers

一篇论文展示了简单智能体框架(h1)配合高效的 Lean 4 反馈接口,在 PutnamBench、FATE-X 和 FormalConjectures 上达到了最先进的形式定理证明结果,不逊于甚至超越了专门设计的多步工作流,并解决了八个公开问题。作者认为执行接口比复杂的编排更为重要,并警告在未用高效反馈评测前沿模型之前,不要过早规定结构化工作流。