Zoom与合作者的研究成果非常有趣。

如果你维护着一套手工构建的编码测试框架，其中的一些洞察会很有价值。

（建议收藏）

研究团队固定了编码测试框架的执行循环，分别调整了规划模块、动作空间和上下文管理这三个组件。

他们在176个匹配设置、四种模型、SWE-Bench Verified和Terminal-Bench 2.1数据集上进行了全面测试。

随着上下文窗口收紧，上下文管理的价值愈发显著。

其主要收益源于防止上下文溢出失败，而非提升推理能力。

在测试的五种策略中，采用基于规则的省略处理后再进行LLM摘要总结的方案，实现了最佳精度成本比。

让被省略内容可恢复的机制增加了模型很少调用的复杂功能，且未带来精度提升。

规划功能的作用随模型能力变化而改变。

对于较弱模型，规划能提升成功率；而对于较强模型，精度提升有限，主要收益体现为成本降低——因为规划缩短了编辑后的验证流程。

在动作空间方面，预定义工具能帮助bash能力较弱的模型，而具备bash能力的模型在命令行任务中可使用纯bash接口，显著降低成本。

论文链接：https://academy.dair.ai/papers/an-empirical-study-of-harness-design-for-coding-agents-2609.20804…

编码代理测试框架设计的实证研究

来源：https://academy.dair.ai/papers/an-empirical-study-of-harness-design-for-coding-agents-2609.20804 代码 · 代理 · 记忆（https://academy.dair.ai/dashboard/paper-chat/an-empirical-study-of-harness-design-for-coding-agents-2609.20804）

首页

编码代理测试框架设计的实证研究

编辑观点

马萨诸塞大学阿默斯特分校、埃默里大学、北卡罗来纳大学夏洛特分校和Zoom的樊润泽及其同事固定了编码测试框架的执行循环，并在176个匹配设置、四种模型、SWE-Bench Verified和Terminal-Bench 2.1数据集上，对三个组件（规划、动作空间、上下文管理）进行了变量控制研究。

本文要点

关于本文的核心观点 要点01

随着上下文窗口缩小，上下文管理变得更加重要。其大部分收益源于防止上下文溢出故障，而非提升推理能力，因此其价值取决于预算而非模型本身。

02

在LLM摘要总结前进行基于规则的省略处理效果最佳。这种两阶段策略在五种策略中实现了最佳精度成本权衡。让被省略内容可恢复的功能增加了模型很少调用的复杂机制，且未带来精度提升。

03

规划功能随模型强度变化而改变角色。对于较弱模型它能提升成功率；对于较强模型精度变化不大，收益主要体现在成本降低上，因为规划缩短了编辑后的验证过程。

04

动作空间在框架支持与成本间权衡。预定义工具能帮助bash能力较弱的模型；具备bash能力的模型使用纯bash接口能显著降低成本，尤其在命令行集中型任务中。

05

轨迹分析解释了各种效应。上下文管理延长了执行轨迹但未改变行为模式，规划改变了轨迹的终止点，动作空间则改变了代码编写的粒度。

摘要：编码测试框架塑造了自主编码代理将模型能力转化为长期软件工程性能的方式，但现有研究通常将框架作为整体系统进行评估，导致各组件有效性不明确。为实现组件级比较，我们采用轻量级编码测试框架，固定其执行循环并变化三个组件（规划、动作空间、上下文管理）来研究此问题。在四种模型上评估SWE-Bench Verified和Terminal-Bench 2.1数据集，我们共测试了176个匹配设置，涵盖五种上下文管理策略、四种上下文窗口预算，以及针对规划和动作空间的定向消融实验。研究发现：（1）随着上下文窗口预算收紧，上下文管理价值愈发重要，其主要收益源于防止上下文溢出故障；（2）在上下文管理策略中，基于规则的省略处理配合LLM摘要总结能提供最佳整体效率，而让被省略内容可恢复的功能增加了模型很少调用的复杂机制，且未带来精度提升；（3）规划从较弱模型的精度辅助工具转变为较强模型的成本节约手段，精度变化甚微；（4）预定义工具能提升bash能力较弱模型的性能，而具备bash能力的模型使用纯bash接口能有效工作且显著降低成本，尤其在命令行集中型任务中。轨迹级分析解释了这些效应：上下文管理延长了执行轨迹但未显著改变代理行为，规划改变了轨迹终止点，动作空间则改变了代码编写的粒度。这些发现为模型感知和预算感知的框架设计提供了参考，并为未来框架组件的评估提供了模块化框架。