Doc2Harness：面向编码代理长周期 Harness 工程的 LLM 基准评测
摘要
Doc2Harness 提出了一个两阶段基准，直接评测 LLM 构建长周期编码代理 harness 的能力；在 19 个前沿模型中，GPT-6Astra 以 53.05% 的通过率领先，而表现最弱的模型仅为 27.44%。
查看缓存全文
缓存时间: 2026/10/15 07:04
论文页面 - Doc2Harness：面向编码智能体长周期 Harness 工程的 LLM 基准评测
来源：https://huggingface.co/papers/2610.20344 作者：
,
,
,
,
,
,
,
,
,
,
摘要
由大语言模型驱动的智能体越来越多地被部署到长周期任务中，在这些任务里它们使用工具并修改真实工作空间。其表现好坏，很大程度上既取决于模型本身，也取决于模型周围的 harness。现有的基准评测在固定的 harness 下衡量下游任务的成功率，而 harness 工程本身尚未被探索。我们提出 Doc2Harness，一个两阶段的基准，直接对长周期 harness 工程进行评测。在第一阶段，一个在固定构建器 harness 中运行的构建模型会接收一份仅含接口的契约骨架，以及一份汇总了十二个前沿 harness 行为的开发文档，随后在一个隔离容器中构建出一个完整的候选 harness。在第二阶段，冻结后的候选 harness 在与构建环境相互分离的容器中运行（每个测试用例一个容器），并由一个脚本化的模拟模型端到端地驱动。我们使用四个可观测通道对每个测试用例进行评分，即发送给模型的请求、磁盘上的文件、进程退出码以及命令输出；正对照排除了空洞通过的情况。在十九个前沿模型上（每个模型以三次独立构建在 328 个测试用例上进行评测），GPT-6 Astra 取得了最高的通过率 53.05%，而最弱的模型仅为 27.44%，差距约为二十六个百分点。即使是最强的模型也几乎有一半的测试用例失败，且失败集中在横切功能应如何在各模块间划分这一问题上。据我们所知，Doc2Harness 提供了首个用于衡量长周期 harness 工程的确定性基准。
查看 arXiv 页面 查看 PDF 项目页面 GitHub32 加入收藏
在你的智能体中获取这篇论文：
hf papers read 2610.20344
还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash
引用本文的模型 0
没有模型链接到本文
在模型的 README.md 中引用 arxiv.org/abs/2610.20344，即可从本页面链接到它。
引用本文的数据集 0
没有数据集链接到本文
在数据集的 README.md 中引用 arxiv.org/abs/2610.20344，即可从本页面链接到它。
引用本文的 Space 1
包含本文的合集 1
相似文章
HarnessOpt-Bench：评估LLM在Harness优化中的表现
HarnessOpt-Bench是一个基准测试，用于评估LLM在固定评估预算下优化目标智能体周围harness（提示、工具、控制流、记忆和编排代码）的能力。对五个前沿LLM的实验表明，优化器模型之间的差异大于它们所借助的编码harness之间的差异，且仍有很大的改进空间。
停止在不公开执行框架的情况下比较LLM智能体
这篇立场论文认为，在长期跨度的LLM智能体任务中，执行框架（即围绕语言模型的上下文构建、工具交互、编排和验证的基础设施层）往往比模型本身更能决定性能，而当前的基准测试错误地将框架层面的提升归因于模型改进。它提出了一种框架感知的评估框架，包含披露标准和方差分解协议。
HarnessDev：LLMs能否创建并演化其自身的代理执行框架？
HarnessDev通过评估LLMs构建和演化执行框架的能力，揭示了模型间性能的显著差异以及较差的迁移性。
AI能否让其他AI变得更优秀？我们测试了5个前沿LLM在重写其他代理框架的能力，评分基于它们从未见过的测试集（HarnessOpt-Bench，arXiv + MIT代码）
文章介绍了HarnessOpt-Bench，一个评估LLM改进其他AI代理框架能力的基准测试，并基于5个前沿模型的研究结果，指出模型选择对性能的影响大于框架选择。
不是能力问题：LLM智能体层级间的控制敏感度是非单调的
本文通过实证测试了“更结构化的控制（harness）能普遍提高LLM智能体可靠性”这一常见假设，发现不同模型层级间存在非单调关系。它引入了HEAT-24基准，并揭示了严格的控制可能会损害前沿聊天模型，但有利于推理模型。