论文页面 - AgentSWE：编程智能体能否构建出你真正想要的智能体？

来源：https://huggingface.co/papers/2610.13361

摘要

随着软件的生产逐渐交到软件自身手中，编程智能体越来越多地被委托构建符合用户自身工作流的智能体。这种委托隐含了一个默认假设：交付的智能体将忠实地满足其构建所依据的需求，而不仅仅是表面上看起来满足。目前没有任何基准测试对这一假设进行过验证。我们提出了 AgentSWE，一个面向智能体软件工程的基准测试，覆盖智能体开发生命周期的三个阶段：根据自然语言需求创建一个完整的智能体；编辑生产级智能体代码库；以及针对可衡量目标进行优化。其 25 个任务中的每一个都以委托而非考试的形式呈现：构建者基于少量示例案例进行迭代，而验收则在用于覆盖完整需求范围的保留案例上对冻结的提交进行测试，依据从需求中提炼出的评分标准在严格的通过/不通过门槛下评判行为，对于优化任务，则依据源基准自身的优化目标进行评判。通过对不同模型和运行框架下的多种编程智能体进行评估，我们发现没有任何一个智能体能够接近于满足需求所要求的内容：构建者所展示的与其所交付的之间的差距是常态，而非例外情况。附带的对失败轨迹的实证分析揭示了反复出现的失败模式，其中包括对可见案例的过拟合、看似完整代码背后空洞的运行时，以及无依据的完成声明——这些都是编程智能体可用于学习构建其被要求构建的智能体的信号。

查看 arXiv 页面　查看 PDF　添加到收藏夹

在你的智能体中获取本文：

hf papers read 2610.13361

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

没有模型链接到本文。

在模型的 README.md 中引用 arxiv.org/abs/2610.13361 即可从本页面链接到该模型。

引用本文的数据集 0

没有数据集链接到本文。

在数据集的 README.md 中引用 arxiv.org/abs/2610.13361 即可从本页面链接到该数据集。

引用本文的 Spaces 0

没有 Space 链接到本文。

在 Space 的 README.md 中引用 arxiv.org/abs/2610.13361 即可从本页面链接到该 Space。

包含本文的收藏夹 0

没有收藏夹包含本文。

将本文添加到收藏夹即可从本页面链接到该收藏夹。