论文页面 - ICAE-Bench: 评估编码代理作为交互式项目构建者

来源: https://huggingface.co/papers/2607.21217

作者:

,

,

,

,

,

,

,

,

,

摘要

近期出现的“氛围编码”工作流正在改变人们对编码代理的期待。编码代理不再仅仅是在完全指定的指令下完成代码，而是越来越多地需要将不完整的产品意图转化为可工作的软件，这需要结合多种能力，包括规划、需求澄清、工具使用、调试以及仓库级别的构建。然而，现有的基准测试尚未完全跟上这一转变，它们仍然在静态、完全指定的任务上评估代理。本文中，我们提出了 ICAE-Bench，这是一个在交互式项目构建环境下评估编码代理的基准测试。基本思路是从一个模糊的产品需求出发，通过自动化用户代理模拟动态范式。为了使这一设置既真实又可评估，ICAE-Bench 引入了三个关键设计。第一，为了避免无约束模糊需求带来的歧义，每个任务都从一个具有可执行行为的精确真实开源仓库中衍生出歧义。第二，为了确保高质量且可复现的用户模拟，ICAE-Bench 通过 UserAgentData 为交互提供依据，使得用户代理能够在不发明新需求或泄露实现细节的情况下揭示隐藏的约束。第三，为了公平地评估开放式仓库，ICAE-Bench 使用标准化的黑盒测试以及多维度诊断，包括功能正确性、语义与 API 相似性、结构忠实度、设计质量以及交互质量。

查看 arXiv 页面 (https://arxiv.org/abs/2607.21217)查看 PDF (https://arxiv.org/pdf/2607.21217)GitHub 仓库 (https://github.com/ALEX-nlp/ICAE-EVAL)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.21217)

在你的代理中获取这篇论文:

hf papers read 2607\.21217

没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2607.21217 即可从本页链接。

引用此论文的数据集0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2607.21217 即可从本页链接。

引用此论文的 Spaces0

没有 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2607.21217 即可从本页链接。

包含此论文的收藏0

没有收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 即可从本页链接。