@rohanpaul_ai:Meta 和纽约大学的新论文表明,一个配备优秀 Lean 工具并投入更多算力的简单循环,就能达到或超越手工构建的定理……
摘要
Meta 和纽约大学的一篇新论文表明,h1 这一为模型提供快速 Lean 反馈和搜索工具的简单智能体循环,能够匹敌甚至超越人工设计的定理证明工作流:它以更低的成本在 PutnamBench 上超过了 Goedel-Architect(解出 598 题,后者为 597 题);搭配 Opus 4.8 时,它解出了 100 道高难度代数题中的 83 道,而 Claude Code 解出了 63 道。
查看缓存全文
缓存时间: 2026/11/01 19:57
Meta 和纽约大学的一篇新论文表明,配备优质 Lean 工具并投入更多算力的简单循环,就能达到或超越手工设计的定理证明工作流。
使用 Lean(一种可由计算机验证的语言)编写数学证明的系统,越来越多地采用手工设计的工作流来规划和拆解问题。这些系统的性能提升往往伴随着更强的模型或更多的算力,让人难以看清工作流本身带来了多少增益。
研究人员构建了 h1,这是一个为模型提供快速 Lean 反馈和搜索工具的循环,并让模型在每次验证失败后继续尝试。它不强制采用任何计划,只在每一轮开始前提供一份进展摘要。
使用相同模型时,h1 在 PutnamBench 上以解出 598 道题的成绩超过了手工设计的 Goedel-Architect 的 597 道,每道题的成本分别为 1.08 美元和 1.47 美元。接口仍然很重要:使用 Opus 4.8 时,h1 解出了 100 道高难度代数题中的 83 道,而 Claude Code 解出了 63 道。
相似文章
@rohanpaul_ai: 谷歌的另一篇精彩论文。展示了通用大语言模型可以通过规划证明并检查每一步来解决形式化数学问题。将…
谷歌新论文提出LEAP框架,一种智能体框架,使通用大语言模型能够通过规划证明并检查每一步来解决形式化数学问题,在Lean IMO基准测试上将性能从低于10%提升至70%,并解决了所有2025年的Putnam问题。
研究者已在 OpenAI 最新数学成果基础上取得显著改进,并经 Lean 形式化验证
研究者正迅速超越 OpenAI 近期由 AI 生成的数学成果,改进后的证明已通过 Lean 进行形式化验证,凸显了 AI 辅助定理证明领域的飞速进展。
h1:自动化定理证明中的「苦涩教训」初体验
一篇论文展示了简单智能体框架(h1)配合高效的 Lean 4 反馈接口,在 PutnamBench、FATE-X 和 FormalConjectures 上达到了最先进的形式定理证明结果,不逊于甚至超越了专门设计的多步工作流,并解决了八个公开问题。作者认为执行接口比复杂的编排更为重要,并警告在未用高效反馈评测前沿模型之前,不要过早规定结构化工作流。
@rohanpaul_ai: Meta 论文显示,当编程代理重复使用过去尝试的简短摘要而不是原始日志时,其性能会显著提升……
一篇 Meta 论文显示,编程代理在重复使用过去尝试的简短摘要而非原始日志时性能显著提升,使用 Claude 4.5 Opus 在 SWE-Bench 和 Terminal-Bench 上取得了显著改进。
@rohanpaul_ai: 精彩新论文来自Meta、CMU及其他实验室。表明编码代理通过制造自己的...来更快地提升。
来自Meta、CMU及其他实验室的一篇新论文提出了Self-play SWE-RL,这是一种方法,编码代理通过在实际代码库中制造和修复错误来训练自己,在SWE-bench基准测试上取得了显著提升,且不依赖人类编写的任务。