论文页面 - 编码代理测试框架设计的实证研究

来源：https://huggingface.co/papers/2609.20804

摘要

编码测试框架决定了自主编码代理如何将模型能力转化为长期软件工程性能，然而现有研究通常将测试框架视为整体系统进行评估，导致各组件的有效性不明确。为支持组件级对比，本研究采用一个轻量级编码测试框架进行分析，该框架固定执行循环但变化三个核心组件：规划、动作空间与上下文管理。通过在SWE-Bench Verified和Terminal-Bench 2.1上评估四种模型，我们共测试了176组匹配配置，涵盖五种上下文管理策略、四种上下文窗口预算以及针对规划和动作空间的消融实验。研究发现：
(1) 随着上下文窗口预算收紧，上下文管理的价值日益凸显，其主要益处来自避免上下文溢出故障。
(2) 在上下文管理策略中，基于规则的精简与基于大语言模型的摘要分阶段结合提供了最佳整体效率，而使精简内容可恢复的机制虽增加复杂性，但模型极少使用且无法提升准确率。
(3) 规划的作用从为弱模型提供准确率支撑转变为强模型的成本优化手段，且对准确率影响甚微。
(4) 预定义工具能提升较弱bash技能模型的性能，而具备bash能力的模型可有效使用纯bash接口，实现显著更低的成本，尤其在命令行密集型任务中表现突出。轨迹级分析解释了这些效应：上下文管理延长了执行轨迹而未显著改变代理行为，规划改变了轨迹的终止点，动作空间则调整了代码编写的粒度。这些发现为模型与预算感知的测试框架设计提供了指导，并提出了评估未来测试框架组件的模块化框架。

查看arXiv页面 (https://arxiv.org/abs/2609.20804) 查看PDF (https://arxiv.org/pdf/2609.20804) 添加至收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2609.20804)

在您的代理中获取本文：

hf papers read 2609\.20804

尚未安装最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

无模型关联本文
在模型README.md中引用arxiv.org/abs/2609.20804以从本页面关联。

引用本文的数据集 0

无数据集关联本文
在数据集README.md中引用arxiv.org/abs/2609.20804以从本页面关联。

引用本文的空间 0

无空间关联本文
在空间README.md中引用arxiv.org/abs/2609.20804以从本页面关联。

包含本文的收藏集 0

无收藏集包含本文
将本文添加至收藏集 (https://huggingface.co/new-collection)以从本页面关联。