@rohanpaul_ai: 精彩新论文来自Meta、CMU及其他实验室。表明编码代理通过制造自己的...来更快地提升。
摘要
来自Meta、CMU及其他实验室的一篇新论文提出了Self-play SWE-RL,这是一种方法,编码代理通过在实际代码库中制造和修复错误来训练自己,在SWE-bench基准测试上取得了显著提升,且不依赖人类编写的任务。
查看缓存全文
缓存时间: 2026/05/26 18:56
Meta、CMU 等实验室联合发布了一篇精彩的新论文。
研究表明,编码代理通过自行制造软件体验能够更快地提升能力。
编码代理可以通过在真实项目中制造并修复 bug 来训练自己。
目前大多数编码代理仍是从人类遗留物中学习:问题报告、拉取请求、测试、评论以及描述哪里出错的基准测试。
这些方法有用,但会使代理依赖人类产生清晰、可验证教训的速度。
自博弈 SWE-RL 将学习单元从标注任务改为可执行场景。
该模型的一个版本会探索真实代码库,削弱测试,注入一个有意义的 bug,并留下定义该失败的测试工件,而无需英文问题描述。
同一模型的另一个版本则需要修复系统——不是通过将文字与补丁匹配,而是通过恢复测试下的行为。
这里的关键点在于:测试在此不仅是评分器,它本身就是问题的语言。
这很重要,因为软件理解存在于约束、依赖、边界情况和不变量之中,而文字描述往往会压缩或遗漏这些内容。
报告的性能提升——在 SWE-bench Verified 上提升 10.4 分,在 SWE-Bench Pro 上提升 7.8 分——虽然属于早期成果,但难以忽视,因为评估时使用的仍是自然语言问题,而自博弈系统并未在这些问题上训练过。
这表明 SSR(自博弈 SWE-RL)学习到了比问题措辞更深层的东西,尽管尚未达到开放式的精通程度。
这种克制是有意义的:生成的 bug 可能不够真实,奖励信号可能有噪声,而沙盒仓库也只代表了软件现实的一小部分。
尽管如此,方向是明确的。
编码代理的下一个瓶颈可能不再是更多人类编写的任务,而是更多让代理遭遇、创造、承受并从中学习失败的方式。
论文链接 – arxiv.org/abs/2512.18552
论文标题: “Toward Training Superintelligent Software Agents through Self-Play SWE-RL”
相似文章
@rohanpaul_ai: Meta 论文显示,当编程代理重复使用过去尝试的简短摘要而不是原始日志时,其性能会显著提升……
一篇 Meta 论文显示,编程代理在重复使用过去尝试的简短摘要而非原始日志时性能显著提升,使用 Claude 4.5 Opus 在 SWE-Bench 和 Terminal-Bench 上取得了显著改进。
@rohanpaul_ai:Meta 新论文。代码优化看起来像是强化学习的简单扩展:奖励正确的程序,然后……
Meta 的一篇论文分析了标准 RL 方法为何在代码优化上失败,并通过校准后的计时、问题相对排名以及 GRPO 改动重建了整个反馈流水线,将 Qwen 2.5 7B 的速度阈值从 18.0% 提升至 31.3%。
@dair_ai:MIT和Sakana AI的重磅论文。他们展示了自我改进的编码代理是有效的。最棒的是他们的方法…
该论文提出Self-Improvement via Fast Tree-search (SIFT)框架,利用LLM作为裁判高效评估编码代理中的自我修改,以更少的CPU时间和API成本实现更好的基准性能。
@rohanpaul_ai: 这篇来自Meta、斯坦福和伊利诺伊的调研论文认为,当代码成为AI智能体的主要工作层时,它们的效果更好…
这篇来自Meta、斯坦福和伊利诺伊的调研论文认为,当代码被用作AI智能体的主要工作层时,它们表现更好,将代码视为推理、行动和建模的环境。作者引入了‘智能体框架’的概念,包含工具、内存、沙箱和反馈循环。
@rohanpaul_ai:Meta 和纽约大学的新论文表明,一个配备优秀 Lean 工具并投入更多算力的简单循环,就能达到或超越手工构建的定理……
Meta 和纽约大学的一篇新论文表明,h1 这一为模型提供快速 Lean 反馈和搜索工具的简单智能体循环,能够匹敌甚至超越人工设计的定理证明工作流:它以更低的成本在 PutnamBench 上超过了 Goedel-Architect(解出 598 题,后者为 597 题);搭配 Opus 4.8 时,它解出了 100 道高难度代数题中的 83 道,而 Claude Code 解出了 63 道。