Ornith-1.0：用于智能代理编码的自我构建型大语言模型

# Ornith-1.0：用于代理编程的自脚手架LLM 来源：https://deep-reinforce.com/ornith_1_0.html OrnithAloha! 🌺 今天，我们正式推出**Ornith-1.0**，一个专为代理编程任务设计的自改进开源模型系列。Ornith-1.0覆盖了从适合边缘设备部署的紧凑型9B Dense模型到针对最大性能优化的397B MoE前沿规模模型的完整光谱，变体包括**9B Dense、31B Dense、35B MoE和397B MoE**。基于预训练的Gemma 4和Qwen 3.5构建，它在编程基准上实现了与同等规模开源模型中最先进的性能。 Ornith-1.0背后的关键创新是一个自改进训练框架。Ornith-1.0不是依赖人类设计的框架来驱动RL中的解决方案生成，而是学习同时生成解决方案的展开（rollout）以及指导这些展开的任务特定框架。通过联合优化脚手架和最终解决方案，模型可以发现更好的搜索轨迹并生成更高质量的解决方案。 Ornith-1.0在广泛的代理编程基准上实现了与同等规模开源模型中最先进的性能：Ornith-1.0-397B（Terminal-Bench 2.1上**77.5**，SWE-Bench Verified上**82.4**）匹配了Claude Opus 4.7（TB-2.1上**70.3**，SWE-Bench Verified上**80.8**）的性能，并超越了类似规模的领先开源模型，包括MiniMax M3（TB-2.1上**66.0**，SWE-Bench Verified上**80.5**）和DeepSeek-V4-Pro（TB-2.1上**67.9**，SWE-Bench Verified上**80.6**）。Ornith-1.0-9B可轻松部署在边缘设备上，其性能达到或超越Gemma 4-31B和Qwen 3.6 35B等更大模型。 ## Ornith-1.0-397B评估结果 在旗舰规模上，Ornith-1.0-397B在Terminal-Bench 2.1上达到**77.5**，在SWE-Bench Verified上达到**82.4**，在两个基准上均超越Claude Opus 4.7，并优于类似规模的领先开源模型，包括Minimax M3和DeepSeek-V4-Pro。 ## Ornith-1.0-35B评估结果 Ornith-1.0-35B显著优于类似规模的模型，包括Qwen 3.5-35B、Qwen 3.6-35B和Gemma 31B。尽管仅有35B参数，它在Terminal-Bench 2.1上甚至超越了Qwen 3.5-397B（64.4对比53.5），同时在多个其他编程和代理基准上与其性能持平。 ## Ornith-1.0-9B评估结果 可边缘部署的Ornith-1.0-9B也取得了显著强劲的结果，在Terminal-Bench 2.1上达到**43.1**，在SWE-Bench Verified上达到**69.4**。尽管是一个紧凑的9B参数模型，它的性能达到或超越Gemma 4-31B等更大模型，证明了即使在资源高效的部署中也能实现强大的代理编程能力。 ## 一种用于LLM训练的自改进策略 Ornith-1.0的核心是一个自改进训练框架，它联合学习解决任务和构建指导这些解决方案的脚手架。Ornith-1.0不依赖跨任务类别共享的固定、人类设计的框架，而是将脚手架视为一种与策略共同进化的可学习对象。每个RL步骤分两个阶段进行：基于任务及其先前使用的脚手架，模型首先提出一个精炼的脚手架；然后，基于该脚手架和任务描述，生成一个解决方案的展开（rollout）。来自展开的奖励被传播到两个阶段，因此模型不仅被优化以产生更好的答案，还被优化以编写能够引出这些答案的编排。经过反复训练，这形成了一个反馈循环，其中脚手架不断被变异和选择，朝着那些能诱导更高奖励轨迹的方向发展，从而自动产生每个任务类别的策略，并在无需手动设计框架的情况下推动持续的能力提升。 Ornith自改进训练框架 ### 解决自改进中的奖励欺骗 允许模型自行编写脚手架自然会引入奖励欺骗问题。自生成的脚手架可以学习在不执行任务的情况下满足验证器：读取可见的测试文件并硬编码预期的工件，例如接触被检查的文件或写入字面预期的输出，或者复制环境中存在的Oracle解决方案。我们通过三层机制来防御这一点： 首先，我们固定外部信任边界：环境、工具表面和测试隔离是不可变的且在模型触及范围之外，因此模型仅演化内部策略脚手架：其记忆、错误处理和编排逻辑。 其次，一个确定性监视器在其可精确指定的级别上强制执行该边界，标记任何尝试读取禁止路径、修改验证脚本或调用超出授权工具表面的操作，并为这些轨迹分配零奖励并将其排除在优势计算之外。 第三，由于意图层面的作弊可能完全发生在允许的工具表面内，因此一个冻结的LLM裁判作为验证器之上的否决者，而不是主要奖励。 ### 异步RL训练 对于RL训练，为了解决长时间展开的离线策略问题，Ornith-1.0采用了流水线RL策略。为了控制早期生成的离线策略令牌的影响，我们应用一个陈旧度权重 \(w(d_t)\)，该权重根据令牌的年龄 \(d_t\) 降低其权重，并在超过阈值后完全丢弃它们： \[ w(d_t)= \begin{cases} 1, & \text{if } d_t \le K_1,\\ \exp\!\!\bigl(-\lambda(d_t-K_1)\bigr), & \text{if } K_1 < d_t \le K_2,\\ 0, & \text{if } d_t > K_2. \end{cases} \] 令牌级GRPO损失加权如下： \[ L_t=\min\!\!\bigl(r_t A_t,\; \mathrm{clip}(r_t,1-\epsilon^{-},1+\epsilon^{+})A_t\bigr)\cdot w(d_t), \] 其中 \[ r_t= \frac{\pi_{\theta}(y_t \mid x, y_{<t})}{\pi_{\text{ref}}(y_t \mid x, y_{<t})}. \]