Cognition 推出新型 SWE-2 模型，与 Fable 5.1 和 GPT-Astra 相媲美

# SWE-2发布：推动帕累托前沿 来源：https://cognition.com/blog/swe-2 作者：Cognition团队 09.10.26 今天我们正式推出SWE-2，这是我们迄今为止最先进的编程模型。它推动了能力与成本的帕累托前沿，在FrontierCode 1.1主基准测试（https://cognition.com/blog/frontier-code-1.1）¹（https://cognition.com/blog/swe-2#ref-1）中达到50.0%的得分，与Fable 5.1仅相差一个百分点，同时成本降低了64%。 通过SWE-2，我们首次将强化学习扩展到万亿参数级别，基于SWE-1.7²（https://cognition.com/blog/swe-2#ref-2）的训练基础设施和方案构建。核心创新在于一种RL算法，能在单次训练中优化所有推理努力级别，从而整体推进成本-性能前沿。 基础模型 训练结束 结果是我们目前最接近前沿的模型。在FrontierCode 1.1主基准和DeepSWE 1.1基准中，SWE-2在得分和成本上均优于SWE-1.7和Grok 4.6，以极低成本匹配GPT-5.6 Sol和Fable 5/5.1的表现，并以四分之一的成本接近GPT-6 Astra的水平。 查看模型在FrontierCode排行榜上的排名（https://cognition.com/frontiercode） SWE-2基于Kimi K3³（https://cognition.com/blog/swe-2#ref-3）进行后训练，这是一个已经经过大规模编程智能体强化学习的2.8万亿参数模型。与SWE-1.7一样，我们的强化学习仍能发现显著提升空间，在多数基准上增加5-6个百分点，并移动K3的整个成本-性能前沿。 编程基准测试结果 | 基准测试 | SWE-2 | Kimi K3 | Grok 4.6 | Fable 5.1 | GPT-5.6 Sol | GPT-6 Astra | SWE-1.7 | |----------|-------|---------|----------|-----------|-------------|-------------|---------| | FrontierCode 1.1 主基准 | 50.0% | 44.2% | 48.0% | 50.9% | 47.5% | 53.3% | 42.0% | | DeepSWE 1.1 | 73.0% | 68.5% | 67.5% | 67.4% | 72.7% | 74.1% | 37.7% | | Terminal-Bench 2.1 | 92.8% | 88.3% | 88.4% | 91.4% | 88.8% | 89.9% | 81.5% | | Terminal-Bench 4 | 27.3% | 21.5% | 20.3% | 55.8% | 37.3% | 57.9% | 7.6% | 本文后续将详细介绍SWE-2的不同之处及其训练过程。 首先阐述SWE-2的行为特性，重点说明其相比前代模型更高效、更智能的特征。随后详细说明SWE-2的后训练技术突破： - **成本惩罚机制**：我们在单次RL训练中对每个努力级别施加线性成本惩罚，惩罚系数根据基础模型帕累托前沿的局部斜率调优。该方法基于第一性原理设计，旨在保持前沿形状的同时推动整体帕累托前沿上移，并尽可能直接反映训练中的实际用户成本。 - **奖励基线技术**：我们介绍自SWE-1.6以来采用的长度加权奖励基线，并展示其如何显著稳定训练过程。 - **RL推演服务**：通过优化调度和训练在线草稿模型提升解码吞吐量。采用NVFP4/FP8内核与量化感知训练，即使基础模型参数量增加近3倍，我们在相同吞吐量下仍能减少总体内存使用，并比SWE-1.7实现更低的训练-推理差异。 - **训练数据**：将RL环境数量增加两倍，添加指令遵循覆盖层，并通过SWE-2历史检查点构建迭代强化验证器的飞轮机制。 SWE-2现已在Devin桌面版（https://devin.ai/desktop）和命令行界面（https://devin.ai/cli）上线。我们正在Devin网页版（https://app.devin.ai/）和Fusion（https://cognition.com/blog/devin-fusion）平台逐步部署。 ## 模型行为特性（https://cognition.com/blog/swe-2#model-behavior） SWE-2在智能与效率上的提升紧密相关。更强的工程判断能力使智能体能够编写更完整的解决方案，同时减少迂回操作和重复读取。在FrontierCode 1.1主基准测试中，我们发现SWE-2中等努力版本得分高于SWE-1.7，同时减少58%的交互轮次，平均成本降低81%。 #### SWE-1.7与SWE-2在FrontierCode 1.1主基准的对比：平均值 SWE-1.7 127轮 SWE-2中等 53轮 SWE-2高等 80轮 SWE-2最高 98轮 050100轮次 - 探索（读取/搜索/列表） - 规划/待办事项 - 编写/编辑代码 - 构建（编译/检查） - 运行测试 - 代码提交 - 最终消息 基于FrontierCode 1.1主基准全部100个任务的平均指标，每个任务每个模型运行三次，并按每步调用的工具分类。 在我们之前的文章²（https://cognition.com/blog/swe-2#ref-2）中，我们观察到SWE-1.7在编辑代码前会进行极为细致的代码库探索。虽然这提升了性能，但导致用户反馈SWE-1.7在简单任务上容易过度探索和过度思考。值得期待的是，我们发现SWE-2最大的效率提升来自**聚焦式探索**：更高的智能使模型能判断代码库中哪些部分与任务真正相关。这使得SWE-2能更早开始实施：在FrontierCode 1.1主基准测试中，我们观察到SWE-2中等版本在中位18步后进行首次实际编辑，而SWE-1.7需要48步。 通过内部测试SWE-2，我们观察到更高的模型能力还体现在以下行为模式中： - **测试覆盖性**：SWE-2能更好地编写端到端测试，更可靠地捕获回归问题和边缘情况。 - **有限范围内的资源利用能力**：当明显路径受阻时，SWE-2更倾向于寻找其他途径达成相同目标。例如在某个案例中，所需的MCP集成不可用，SWE-2便从已有访问权限的Slack频道历史记录中重构数据。 - **验证规范性**：面对质疑时，SWE-2会重新推导结论而非简单重复主张。它验证用户假设而非简单认同，通过运行产物收集证据而非依赖表面描述。其结论具有可信赖性。 不同努力级别也表现出实际行为差异。SWE-2中等版本能更快投入行动，在简单和中等难度任务中实现成本效益最优。SWE-2高等和最高版本在复杂任务上保持优势：规划更深入、探索代码库更全面，并通过更复杂的验证管理不确定性。 接下来我们将讨论一种后训练方法改进，我们认为它促成了这些行为特征：RL中的帕累托感知成本惩罚机制。 ## 通过RL推动帕累托前沿（https://cognition.com/blog/swe-2#pareto-frontier-rl） 随着模型变得更智能且成本更高，编程智能体领域的成本-性能权衡日益重要。因此，训练SWE-2时，我们的目标不仅是优化模型智能性，还要优化其提供的整个成本-性能权衡范围。 后训练方案在惩罚长度和训练多努力级别方面差异显著。例如，Kimi K3为每个领域和努力级别的组合训练独立专家模型，然后通过多教师在线蒸馏整合为单一模型。它还使用针对特定问题（及特定训练步骤）的令牌预算。 面对这种广泛且微妙的不同方法，我们提出一种简洁而原则性的方法，在单次RL运行中端到端训练所有努力级别。 #### 训练过程中帕累托前沿的演进 Kimi K3 训练结束 我们通过以下形式的带成本惩罚奖励函数实现： R=S−λeC 其中S∈{0,1}表示推演是否成功，C表示推演成本（结合美元计算的推理成本和推演时间），e表示努力级别，λe是**根据基础模型在努力级别e处的帕累托曲线斜率调优的参数**。 #### Kimi K3帕累托曲线切线的近似 这些选择看似违反直觉，但正如我们将要看到的，它们是根据我们推动帕累托前沿的目标推导出的逻辑结论。 ## 推导成本惩罚机制（https://cognition.com/blog/swe-2#deriving-cost-penalty） 接下来解释我们如何选择RL目标R来直接优化模型的成本-性能帕累托前沿。此处“成本”指平均成本，“性能”指求解率，均在训练任务分布D上取平均。回顾成本-性能平面上的点取决于任务分布的*平均*成本和*平均*求解率，除此之外不依赖于D。因此，为使RL目标与模型在平面上的位置对齐，我们希望R在D上的期望仅取决于这些平均成本和求解率。 事实上，为保证对每个推演成本与成功结果的联合分布都成立，这**迫使采用线性成本惩罚**（至多相差常数和缩放），因为只有线性惩罚在平均成本之前或之后应用会产生相同结果。感兴趣的读者可在附录B（https://cognition.com/blog/swe-2#appendix-b）中查看严格证明。 既然确定了奖励函数R=S−λeC，最终任务就是为每个努力级别选择λe。虽然设定λe起初可能像是超参数优化问题，但我们发现推动帕累托前沿上移的目标*再次*决定了应如何选择此参数。事实上，我们认为能够清晰推理此参数选择是本方法的重要实践优势。 核心思想是考虑帕累托前沿及其等奖励线的几何关系。为此，固定一个努力级别，设(c,s)为当前前沿上的对应点，平均奖励J=s−λec。其等奖励线满足s=λec+J，斜率即为λe。 在左侧面板中，我们看到一个失败案例：λ_high设置过大。模型因执行无用更新而获得奖励——高努力版本开始表现得像中等努力版本。成本的降低超过了求解率的损失，奖励增加但未改善帕累托前沿。右侧面板中，λ_high与当前高努力点处的前沿斜率匹配。当等奖励线与前沿相切时，增加奖励总能改善前沿。 我们可以通过代数形式将此几何直觉形式化。设m为前沿在(c,s)处的局部斜率。沿前沿的微小移动使求解率变化Δs≈mΔc，因此平均奖励的相应变化为： ΔJ=Δs−λeΔc≈(m−λe)Δc 因此，令λe=m可确保目标J沿帕累托曲线的移动在（一阶）上不受影响。 ## 长度加权奖励基线（https://cognition.com/blog/swe-2#length-weighted-baseline） 我们同时分享自SWE-1.6以来采用的奖励基线：一种无需额外成本降低梯度方差并显著稳定训练的长度加权基线。 给定固定提示x和一组n个推演结果y1,...,yn，使用基线b的在线策略梯度估计量为： ĝ=1n∑ᵢ₌₁ⁿ(Rᵢ−b)∇θlogπθ(yᵢ|x) 降低梯度估计量方差的合理代理是最小化E[(Rᵢ−b)²]。这给出均值奖励基线b=E[Rᵢ]，实践中我们使用组基线⁴（https://cognition.com/blog/swe-2#ref-4）进行估计：b=1n∑ᵢ₌₁ⁿRᵢ。其对采样推演结果的依赖会在梯度估计量中引入一些偏差，但该偏差随1/n衰减，对于大组而言很小。 我们转而尝试最小化完整梯度估计量ĝ的方差。根据Greensmith、Bartlett和Baxter（2004）⁵（https://cognition.com/blog/swe-2#ref-5）⁶（https://cognition.com/blog/swe-2#ref-6）的研究，最优基线为： b⋆=E[Rᵢ∥∇θlogπθ(yᵢ|x)∥²]E[∥∇θlogπθ(yᵢ|x)∥²] 简单推导见附录C（https://cognition.com/blog/swe-2#appendix-c）。 计算此基线的经验估计需要在每个推演上进行额外反向传播以计算∥∇θlogπθ(yᵢ|x)∥²项。然而经验发现，该量与推演长度Li强相关，如后续图表所示： 散点图显示∥∇θlogπθ(yᵢ|x)∥²与推演长度的相关性，长度以可训练令牌数量计。基于1000个Kimi K3在我们训练环境集上的推演生成。 这表明存在一种无需额外成本的低成本代理来近似b⋆： b̂=∑ᵢ₌₁ⁿRᵢLᵢ∑ᵢ₌₁ⁿLᵢ 实践中，我们使用离线策略RL进行训练，因此b⋆在技术上并非最小化梯度方差的基线。不过在消融实验中，我们发现该基线显著更稳定且性能更优。特别是在RL过程中帮助保持推理-训练KL散度较低。 #### 长度加权组基线提升RL稳定性 组基线 vs. 长度加权组基线 RL过程中推理策略与训练策略的KL散度。粗线为滚动平均值；细线为原始单步值。 ## RL推演与数值计算（https://cognition.com/blog/swe-2#rl-rollouts-numerics） 我们基于四个目标构建推演系统： - 最大化总吞吐量 - 降低延迟以限制陈旧度 - 保持KV缓存容量 - 保持推理与训练数值一致性 由于预填充请求可能在不同时间到达，我们构建了预填充延迟器，在GPU调度器中合并处理临近请求。这使每GPU的TPM（每分钟令牌数）和每请求的TPS（每秒令牌数）均提升10-20%。我们发现增加的首令牌时间（TTFT）是可接受的折衷。 为加速推演生成，我们采用了DSpark推测解码（https://arxiv.org/abs/2607.05147）⁷（https://cognition.com/blog/swe-2#ref-7）。草稿模型提议多个令牌，策略模型共同验证。随着训练过程中策略变化，DSpark的接受序列变短，降低了TPM和TPS。 #### RL过程中推测解码接受率下降 草稿模型提议的接受率随实际训练时间变化。粗线为101观察点居中移动平均值；细线为原始记录值。 为改善接受率，我们使用SpecForge（https://arxiv.org/abs/2603.18567）⁸（https://cognition.com/blog/swe-2#ref-8）训练了新的DSpark模型，实现15%的更长接受序列。随后我们将在线草稿模型训练集成到RL系统中，使草稿模型能持续跟踪变化中的策略。 低精度MoE推理允许内存中容纳更多推演，但可能导致推理策略偏离训练器。我们采用NVFP4和FP8内核，结合量化感知训练。MLA层使用FP8精度...