Mid-Harness:在模型与 Harness 之间扩展动作采样以增强终端智能体
摘要
Mid-Harness 提出了一种面向终端智能体的方法,在执行前于模型与 Harness 的边界处对候选动作进行采样与验证,将 GPT-5.6 Solverifier 在 TerminalBench-Lite 上的 Pass@1 从 50.00% 提升至 68.03%,并表明动作扩展(action scaling)是一种与轨迹扩展(trajectory scaling)同等高效的测试时算力利用方式。
查看缓存全文
缓存时间: 2026/10/01 08:23
论文页面 - Mid-Harness:在模型与 Harness 之间扩展动作的规模
来源:https://huggingface.co/papers/2609.39982 作者:
,
,
,
,
,
,
,
,
,
摘要
终端智能体(Terminal agents)依靠随机的模型生成来执行操作,但生成出一个有用的动作并不意味着该动作能被可靠地执行。一个糟糕的命令(例如装错了包)会以阻碍后续进展的方式改变环境,即便模型其实能够生成更好的替代方案。我们探究:在模型与 harness 的边界上分配测试时计算(test-time compute),是否能够提升动作的可靠性与轨迹的成功率,以及是什么让这种分配真正有效。为研究这些问题,我们提出 Mid-Harness:它在将候选动作转发去执行之前,先对其进行采样与验证,同时保持生成器(generator)与 harness 不变。在使用 TMAX-9B 作为生成器时,更多地采样动作在弱验证条件下几乎收效甚微,而一个能力较强的验证器(verifier)则能利用同一生成器产出的有用替代动作。在 TerminalBench-Lite 上,采用 GPT-5.6 作为验证器、采样 8 个动作时,Pass@1 从基础智能体的 50.00% 提升到了 68.03%。当由同一个 TMAX-9B 模型充当验证器时,在我们评测的各类验证机制中,成对验证(pairwise verification)的表现最好。将更强验证器的响应蒸馏(distilling)进 TMAX-9B,可以进一步提高 Pass@1,同时动作生成器保持不变。在 TerminalBench-Lite 上使用 TMAX-9B 时,将动作扩展与轨迹扩展相结合,能在更低的估计 token 成本下达到比单纯生成更多轨迹更高的成功率。Mid-Harness 在更多模型、基准和 harness 上同样带来了性能提升。这些发现表明,动作扩展是终端智能体上进行测试时计算扩展的一个有前景的方向。
查看 arXiv 页面 (https://arxiv.org/abs/2609.39982) 查看 PDF (https://arxiv.org/pdf/2609.39982) 项目主页 (https://byungkwanlee.github.io/MidHarness-page/) 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.39982)
在你的智能体中获取这篇论文:
hf papers read 2609\.39982
还没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用本论文的模型0
没有模型关联到本论文。
在模型的 README.md 中引用 arxiv.org/abs/2609.39982,即可在此页面建立链接。
引用本论文的数据集0
没有数据集关联到本论文。
在数据集的 README.md 中引用 arxiv.org/abs/2609.39982,即可在此页面建立链接。
引用本论文的 Space0
没有 Space 关联到本论文。
在 Space 的 README.md 中引用 arxiv.org/abs/2609.39982,即可在此页面建立链接。
收录本论文的合集0
没有合集收录本论文。
将本论文加入合集 (https://huggingface.co/new-collection),即可在此页面建立链接。
相似文章
Self-Harness: 自我改进的Harness
Self-Harness 提出了一种新范式,其中基于LLM的智能体通过挖掘模型特定的弱点、提出框架修改,并通过回归测试验证这些修改,从而迭代地改进自身的运行框架,在Terminal-Bench-2.0上跨多个基础模型取得了显著的性能提升。
面向长时程终端Agent的Harness自进化
论文提出了由腾讯与多所高校联合研发的RiseHarness框架,该框架在保持模型权重不变的前提下,通过迭代优化智能体的Harness来处理长时程终端任务,分析成功与失败的执行记录,逐步整合更优的执行机制。
PhoneHarness:通过混合 GUI、CLI 和工具操作驾驭手机使用代理
PhoneHarness 是一个混合操作基准测试和执行框架,用于评估手机使用代理在可验证移动工作流上的表现,通过确定性操作路由和可审计执行跟踪实现了 75% 的通过率,比现有方法高出 12.9 个百分点。
动态框架搜索:通过预测为每个查询构建多智能体系统
论文提出了 SHIFT 框架,它通过一个经过学习的本地 LLM 架构师和价值函数,结合蒙特卡洛树搜索,为每个查询构建多智能体框架,在 9,193 个任务上实现了约 80% 的平均准确率,超越了 17 个基线方法,同时在更经济的模式下将执行 token 成本降低了 32%。
基于多任务的自进化 harness:agent 作为自身的优化器
提出一种自进化 agent harness 框架:同一个冻结模型先作为 solver 求解任务,再作为 proposer 直接编辑自身 harness 的代码;在多任务上完成进化后,于分布外基准上显著超越 Codex(提升 12.64 分)并达到相当的表现水平。