释放模型：前沿地带的 harness 设计

如今模型路由器（model router）无处不在，但它们有一个根本性的局限。无论基于先进的启发式规则，还是靠一个小模型逐轮阅读上下文来挑选使用哪个 LLM，路由器的能力永远不如它所选中的那个模型本身。Replit Agent 则反过来，让模型自己来做决定。

主 agent，也就是核心循环（core loop），来决定其子 agent 的层级与投入程度，并随着任务推进调整自身的设置。有了这份自由，GPT-6 Astra 会把常规实现交给成本更低的子 agent，并自行决定 token 应该花在何处。在 DeepSWE 和 Terminal-Bench 两项基准上，Replit Agent 相对 Astra 自身都是帕累托最优的：没有任何已发布的 Astra 基线能做到成本更低、分数更高。它还比 sidekick 架构——同样的配置，但只保留一个长期存活的 worker——分别高出 11 分和 16 分。

完整文章（含动画与脚注）请见 https://replit.com/blog/free-the-models

为什么我们减少脚手架

每一次模型发布，都会使内置于 harness 的假设失效。

随着模型在长时程任务上变得更强，它们不再需要 harness 层面那么多的脚手架。实践中我们观察到，它们越来越多地自发走向委派：用子 agent 来管理上下文和实现并行。最近的一些突破，包括 Navier–Stokes 问题的进展，部分就来自协调由前沿模型驱动的 agent 集群 [1]。

但前沿是崎岖不平的。最强的编程模型不一定擅长设计 UI 或制作幻灯片，也不一定最会写邮件。 因此我们设计 harness 的目标是：让每个模型按自己的方式工作，保留它仍然需要的护栏，并以最低成本实现质量。

每出一个新模型，我们都会回头重新验证那些曾经坚信不疑的东西，并快速试验证那些建立在新兴行为之上的技术。所谓释放模型，就是让它自己决定要思考多深、何时把工作交出去、以及交给谁。

图 1：核心循环在每一步所做的三个决策。

可组合的委派原语

当我们开始基于 GPT-6 Astra [2] 做实验时，发现这个模型很擅长委派。GPT-6 系列也是 OpenAI 第一个支持在单轮中途改变 effort 而不会破坏缓存的模型。

为了用上这些能力，我们细化了四个 harness 原语。它们让核心循环在每一步拥有有限的几个选择：派出什么类型的子 agent、以多大规格和多大投入派出、是否回到一个已经交代过背景的子 agent，以及思考要多深入：

• 领域感知的子 agent。 在通用 worker 之外，harness 还提供专职专家：只读的探索者（explorer）、浏览器测试器、评审员，以及负责幻灯片和 UI 的设计子 agent，每个都配有各自的模型与工具链。目前，哪些专职专家存在仍由 harness 决定；核心循环决定何时以及如何使用它们。

• 子 agent 的层级与投入。 分为 small、standard、large 三档，成本与能力逐级递增，且每一档内部还有投入（effort）等级。这两项对所有子 agent 都适用，由核心循环在每次派发时选择。例如，机械性的重命名派给 small + 低投入，而为一个顽固 bug 生成假设则派给 large + 高投入。

• 可复用的子 agent。 核心循环可以回到一个已经交代过背景的子 agent，而不必从头再来。整个会话中不存在一个始终存活的 sidekick：任意数量的子 agent 可以跨越不同种类和层级保持“热“状态，由核心循环决定唤醒哪一个。OpenAI 新模型更长的缓存寿命，让这样做保持在低成本水平。

• 动态投入调节。 既然在某些模型上中途改变投入仍能保住缓存，我们训练了一套升级（escalation）系统：它在每一步检查轨迹，并让投入水平与任务难度相匹配。与路由器不同，它作用于进行中的工作，而不是对请求一次性做决定。

Astra 和 Fable 5.1 [3] 的代码质量也让我们更少需要动用代码评审子 agent，而我们的评测分数并没有下降。此前我们从未在任何模型身上见过这种水平的工程质量。

新一代模型会自发委派

Astra、Fable 这类前沿模型每个 token 更贵，与小模型相比显得不经济。但我们观察到，它们会自然地委派给成本更低的子 agent，把自己的 token 留给真正需要它们的决策。

Replit Agent 从不强迫核心循环去派生子 agent。表 1 展示了三个模型在生产环境中如何处理这一决策：

表 1：Replit Agent 生产环境中的委派情况，各模型均在 medium 推理投入下。

三个模型都会委派，但各有各的方式。在 medium 投入下，Fable 模型很少把工作交给通用 worker：它们派出去的是只读探索者和评审员，实现工作则自己留下。Astra 是我们见过的第一个会在没有被要求的情况下就常规性地委派给通用 worker 的模型，而且一旦它交代完背景，往往更愿意回去找那个 worker 而不是另起炉灶。这个“回头率“随着每一代模型都在上升。

图 2：取自 2026 年 9 月 17 日一次生产环境交互的 trace。核心循环派出了一个 explorer、两个 worker 和一个 tester；在其五次 worker 派发中，有三次是回到它已经交代过背景的 worker。

结果

我们在 Max 模式（以 Astra 作为核心循环的最高质量设置）下，在两项软件工程基准上对 Replit Agent 进行了评测：DeepSWE 和 Terminal-Bench。我们对比了两个基线：Astra 单独运行在 mini-swe-agent 中、按各排行榜公布的成绩，以及一种 sidekick 架构——同样的配置，只有一处改动：其子 agent 原语被替换为一个长期存活的 worker。每张图都以分数对每任务成本作图，因此越高效的配置越靠左上角。

在测试对活跃开源仓库进行长时程改动的 DeepSWE v1.1 [4] 上，Replit Agent 取得 72% 的分数，每任务成本 $2.11。mini-swe-agent 中的 Astra 在低投入下得分为 67%、成本 $1.60，在 xhigh 投入下得分为 74%、成本 $4.43；sidekick 架构得分为 61%，成本 $1.34。Terminal-Bench 4.0 [5] 测试完全在 shell 中完成的多步工作。Replit Agent 达到 49%，每任务成本 $2.53，而 Astra 在低投入下为 42%、成本 $2.25，在 xhigh 投入下为 60%、成本 $5.86。sidekick 架构则只有 33%，成本 $1.84。

Replit Agent 在两项基准上都胜过 sidekick 架构，分别高出 11 分和 16 分。sidekick 成本更低，但为此放弃了六分之一到三分之一的分数。Astra 单独运行只有靠花更多钱才能取得更高分数：它表现最好的设置比 Replit Agent 高出 2 分和 11 分，但成本是后者的两倍以上。两个基线都无法在成本和分数上同时胜出。我们运行的 Replit Agent 与面向用户的发布版本完全一致，没有对 prompt 或 harness 做任何改动。

Harness 设计的苦涩教训

我们把这些结果视为 Sutton 苦涩教训的一个实例 [6]。把人类知识硬编码进 agent 短期内有帮助，长期会趋于平台期，最终被那些能随算力扩展的通用方法超越。僵硬的 harness 把模型束缚在一种工作方式上；可组合的 harness 则让模型自己选择。模型越聪明，harness 就越不应该替它们做决定。

与更规定化的架构相比，这种做法为我们带来三点好处：

• 它押注于模型的缩放定律（scaling laws）。 依赖模型自身品味的委派，会随每一次发布而改进。下一代模型的早期预览延续了这一趋势。

• 它与任务相匹配。 小任务一个子 agent 都不派，搜索类任务派一个 explorer，构建一旦分解成独立片段就拉起一支团队。

• 它复用但不持久化。 子 agent 会保留自己的上下文，以备模型日后需要，而除非模型真的需要，否则不会有任何东西持久化。

用 Sutton 的话说，harness 应该让模型自己发现该如何执行这项工作，而不是规定我们会怎么做。释放模型吧。

致谢

作者：Daniel Furman、Jacky Zhao、Vaibhav Kumar、Ed Sioufi、Michele Catasta。感谢 James Austin、Toby Ho、Preeya Kirani、Zhen Li、Robin Newhouse、Devanshu Sen Pandey、Ibrahim Sheikh、Samuel Spitz、Peter Zhong 以及 Replit AI 团队的其他成员对本工作的贡献。如果你想在 Replit 从事 AI 相关工作，我的团队正在招聘，请联系 [email protected]。

参考文献

• On the Navier–Stokes Millennium Prize Problem

• Introducing GPT-6 Astra

• Introducing Claude Fable 5.1 and Claude Mythos 5.1

• DeepSWE v1.1

• Terminal-Bench 4.0

• The Bitter Lesson

• Idiosyncrasies in Large Language Models

• Design Arena

• Terminal-Bench 4.0 results, Artificial Analysis