论文页面 - HarnessDev：LLM能否创建并演进自己的代理工具链？

来源：https://huggingface.co/papers/2609.01437 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

HarnessDev通过衡量代理构建并迭代改进执行基础设施的能力（而非最终任务输出）来评估代理，揭示了自建工具链在能力和效率上差异显著，且跨模型迁移性较差。

随着代理从研究原型发展为部署工具，其性能越来越依赖于模型外部的执行基础设施（https://huggingface.co/papers?q=execution%20infrastructure），通常被称为代理工具链（https://huggingface.co/papers?q=agent%20harness）。在保持模型权重不变的情况下改变此工具链，可能显著改变任务性能。当前的代理评估通常只报告在选定工具链下的下游性能，导致模型自身开发工具链的能力相对未被充分探索。我们推出了HarnessDev（https://huggingface.co/papers?q=HarnessDev）基准测试，将评估单元从任务产出转移到可运行的基础设施。HarnessDev（https://huggingface.co/papers?q=HarnessDev）涵盖两个阶段。在创建阶段，代理从最小化种子和少量用例开始，构建完整的执行系统。在演进阶段，它从自身创建的工具链出发，利用下游执行反馈进行迭代修订，目标是提升基准测试性能。随后我们评估每个构建的工具链在能力（在留出基准测试（https://huggingface.co/papers?q=held-out%20benchmarks）上的任务成功率）和效率（执行令牌成本（https://huggingface.co/papers?q=execution-token%20cost））方面的表现。报告的创建结果涵盖六个创建用LLM（https://huggingface.co/papers?q=LLMs）、四个领域和五个下游基准测试，总计2,207个独立下游实例，并包含对开发过程隐藏的评估任务。我们发现生成的工具链在代码以及搜索和研究领域，仍远落后于成熟的人工工程参考实现；而在写作和机器学习实验领域，则匹配或超越选定的参考实现，但执行成本差异显著。演进带来了一些性能提升，但这些提升不稳定，仅能部分迁移到留出任务。使用固定运行时模型的实验进一步表明，这些提升强烈依赖于执行工具链的模型，表明跨模型迁移能力有限。

查看arXiv页面（https://arxiv.org/abs/2609.01437）查看PDF（https://arxiv.org/pdf/2609.01437）项目页面（https://self-developing-agents.github.io/）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2609.01437）

在你的代理中获取此论文：

hf papers read 2609\.01437

没有最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无模型链接此论文

在模型README.md中引用arxiv.org/abs/2609.01437以从本页链接。

引用此论文的数据集0

无数据集链接此论文

在数据集README.md中引用arxiv.org/abs/2609.01437以从本页链接。

引用此论文的Space0

无Space链接此论文

在Space README.md中引用arxiv.org/abs/2609.01437以从本页链接。

包含此论文的收藏0

无收藏包含此论文

将此论文添加到收藏（https://huggingface.co/new-collection）以从本页链接。