Ornith-1.5 技术报告：https://ornith.ai/ornith_1_5.html Huggingface：https://huggingface.co/collections/ornith-ai/ornith-15…

Ornith-1.5：从自举框架到自我改进

来源：https://ornith.ai/ornith_1_5.html

今天，我们推出 Ornith-1.5，这是通过端到端自我改进构建基础模型的重要一步。Ornith-1.5 将 Ornith-1.0 引入的自举框架扩展为一个更完整的自我改进循环：模型提议新任务、生成任务特定的支架结构，并为强化学习生成解决方案的展开，从而持续创造新的学习经验以实现自我改进。

Ornith-1.5 涵盖三种模型规模：397B MoE、35B MoE 和 9B dense。它专为在推理、智能体和编码任务上实现强大的通用智能而设计，在可比较规模的开源模型中，在广泛的基准测试中达到了最先进的性能。Ornith-1.5-397B 在 Terminal-Bench 2.1 上得分 86.1，在 DeepSWE 上得分 56.0，表现与 Claude Opus 4.8（85.0 和 59.0）相当，同时优于领先的同规模开源模型，包括 GLM-5.2（82.7 和 46.2）和 DeepSeek-V4-Flash-0731（82.7 和 54.4）。在光谱的另一端，Ornith-1.5-9B 及其量化版本 Ornith-1.5-9B-Mobile 可以轻松部署在 iPhone 和 Android 设备上，同时性能显著优于 Gemma 4-31B 和 Qwen 3.6-35B 等更大的模型。

Ornith-1.5-397B 性能评估结果 在旗舰规模上，Ornith-1.5-397B 在 Terminal-Bench 2.1 上获得 86.1 分，在 DeepSWE 上获得 56 分，在这两个基准测试上与 Claude Opus 4.8 持平，并优于类似的领先开源模型，包括 GLM-5.2 和 DeepSeek-V4-Flash-0731。

Ornith-1.5-35B 性能评估结果 Ornith-1.5-35B 在所有编码和智能体基准测试上显著优于同规模的同类模型 Qwen 3.6-35B，并且尽管每个令牌仅激活 3B 参数，它在智能体编码方面也以较大优势优于密集模型——Gemma 4-31B 和 Meta 的 Muse Glimmer-30B（Terminal-Bench 2.1：68.5 对比 43.4 和 51.7；SWE-Bench Verified：79.0 对比 52.0 和 76.0）。

Ornith-1.5-9B 性能评估结果 边缘可部署的 Ornith-1.5-9B 也提供了非常强劲的结果，在 Terminal-Bench 2.1 上获得 47.0 分，在 SWE-Bench Verified 上获得 70.6 分。尽管是一个紧凑的 9B 参数模型，它的性能匹配或超越了 Gemma 4-31B 和 Qwen 3.6-35B 等大得多的模型。

通过自生成任务、测试框架和解决方案实现自我改进

Ornith-1.5 扩展了 Ornith-1.0，将自我改进循环从支架和展开优化扩展到联合优化任务生成、支架构建和解决方案展开。Ornith-1.5 不依赖于一组固定的人为策划任务和手动设计的测试框架，而是持续生成新的训练任务，发现解决这些任务的有效策略，并通过强化学习改进策略。

每个训练周期分三个阶段进行。给定一个环境或代码库、关于任务类型的高级指令，以及访问模型先前任务解决历史记录的能力，该系统会提出超越模型已解决范围的、逐步更难的任务，暴露能力缺口并持续推动训练前沿。

对于每个任务，然后模型生成或优化任务特定的支架结构——用于处理问题的指令、工具、分解策略和协调机制。基于任务和支架结构，策略生成解决方案展开。展开的回报会传播到所有三个阶段，因此系统不仅学习产生更好的解决方案，还学习生成更有用的训练任务和构建更有效的支架结构。

在训练中重复此过程，创建了一个封闭的自我改进循环：更强的策略能够生成更难、更具信息性的任务，进化的支架结构能够发现激发模型能力的更好方法，更高质量的展开则提供日益有效的学习信号。Ornith-1.5 不依赖于静态的训练分布或手工设计的代理设计，而是持续扩展自身的课程并调整其问题解决策略，从而在推理、编码和智能体任务中实现持续的能力提升。

Ornith-1.5 通过生成任务、支架、解决方案展开、回报和 GRPO 更新实现自我改进循环

任务回报

对于问题 → 支架结构 → 展开的设置，我们使用三个信号定义任务回报：有效性、前沿难度和新颖性。让 q 表示生成的问题，s 表示其支架结构，\{\tau_i\}_{i=1}^{N} 表示一组解决方案展开。我们定义： R_{\text{task}} = \underbrace{V(q,s)}_{\text{是否有效且可验证？}} \times \underbrace{D\!\left(q,s,\{\tau_i\}_{i=1}^{N}\right)}_{\text{难度是否合适？}} \times \underbrace{N(q)}_{\text{是否足够新颖？}}. 这里，V 衡量生成的任务和支架结构是否构成有效且可验证的学习环境，D 衡量任务是否接近模型当前的能力前沿（基于展开性能），N 衡量相对于先前生成或训练过的任务的新颖性。乘法公式鼓励提议者生成同时满足这三个特性的任务：有效、难度适当且非冗余。

有效性和可验证性

一个有用的任务必须形成定义明确的学习环境。问题应连贯且可解，而支架结构应正确执行并可靠地评估候选解决方案。我们定义： V(q,s) \in [0,1], 基于诸如支架结构是否成功运行、高置信度解决方案是否通过、明显错误的解决方案是否失败以及评估是否符合任务规范等检查。有效性也可以被视为一个硬性门槛： V(q,s)=0 \quad\Rightarrow\quad R_{\text{task}}=0. 这可以防止格式错误的任务或不可靠的支架结构仅仅因为显得困难就获得回报。

前沿难度

在有效任务中，最有用的既不是微不足道的，也不是不可能的。我们直接从模型的展开中估计难度。 对于每个任务，我们采样 N 个展开并计算经验成功率： p = \frac{1}{N} \sum_{i=1}^{N} \mathbf{1}\!\left[s(q,\tau_i)=\text{success}\right]. 然后我们奖励成功率接近目标前沿 p^* 的任务： D(q,s,\{\tau_i\}) = \exp\!\left(-\frac{(p-p^*)^2}{2\sigma^2}\right). p^* 设置为 0.2，这有利于那些具有挑战性但仍能产生足够成功轨迹以供强化学习的任务。随着模型改进并更可靠地解决任务，其回报自然会减少，推动生成器转向更难的问题。

新颖性和多样性

仅前沿难度可能导致模型反复生成相同任务的微小变体。因此我们添加了一个新颖性项： N(q) = 1 - \max_{q_j \in \mathcal{B}} \operatorname{sim}(q,q_j), 其中 \mathcal{B} 是先前生成或训练过的任务的缓冲区。新颖性应次于有效性和难度：其作用是减少冗余，而不是奖励任意不寻常的任务。 这些信号共同鼓励提议者生成有效、可验证、具有挑战性但可学习且足够多样的任务。因为前沿难度是使用当前模型自身的展开来衡量的，所以生成的课程会随着模型能力的发展而自动演进。

测试框架和展开回报

对于生成的问题 q，测试框架 h 因提供与任务对齐、忠实反映解决方案质量且能抵抗回报破解的评估环境而获得回报： R_{\text{harness}} = \underbrace{C(q,h)}_{\text{任务对齐}} \times \underbrace{F\!\left(h,\{\tau_i\}\right)}_{\text{回报保真度}} \times \underbrace{H(h)}_{\text{抗破解性}}. 这里，C 衡量测试框架是否忠实反映任务规范，F 衡量其回报是否跟踪候选解决方案的真实质量，H 衡量其抵抗评估器故障、捷径和回报破解行为的能力。

每个展开 \tau_i 由生成的测试框架直接评分： R_{\text{rollout}}(\tau_i) = \underbrace{h(q,\tau_i)}_{\text{任务成功}}. 对于可验证的任务，这可以是二元的通过/失败回报；对于更丰富的环境，它可以结合正确性、任务完成度、效率和约束满足度。问题生成、测试框架生成和解决方案展开都使用 GRPO 及其各自的回报进行优化，使得三个阶段可以在同一个自我改进循环内共同改进。

完整表格

Ornith-1.5-397B

Ornith-1.5-35B

Ornith-1.5-9B

脚注