论文页面 - Agent Retrieval Bench：评估编码智能体的仓库上下文检索

来源：https://huggingface.co/papers/2607.24882

摘要

现代编码智能体的评估通常基于其最终是否生成正确的补丁，但补丁生成依赖于更早的上下文获取阶段：即找到任务所需的仓库文件。我们推出了 Agent Retrieval Bench，一个面向这一上游检索问题的文件级基准测试。样本基于真实编码工作流信号构建，并在冻结的基准提交仓库上进行评估，相关性由智能体下一步需要什么而非直接的查询-文件语义相似度来定义。该基准涵盖四项正向检索任务：代码→测试、注释→上下文、追踪→代码和编辑→涟漪；第五个子集利用自然证据支撑的无黄金样本和反事实的错误仓库对照来评估选择性检索。Agent Retrieval Bench 包含 25 个仓库中的 427 个样本：345 个正向示例、50 个自然无黄金示例以及 32 个反事实对照样本。语料库包括 308 个基准提交快照、39.2 万个文件和 790 万个数据块。我们评估了词汇检索、RepoMap、开源嵌入、选择性放弃以及记录的智能体上下文选择。没有任何单一检索方法占据主导地位：Qwen3-Embedding-4B 在正向样本上的样本加权 MRR 最佳，Qwen3-Embedding-8B 的 Recall@20 最佳，RepoMap 在 8K token 预算下的上下文产出最佳，且任务级别的胜出者差异显著。使用反事实对照校准的选择性阈值未能提升自然无黄金案例上的选择性成功率，揭示了校准差距。记录的轨迹在 27-35% 的样本中遗漏了所有黄金文件。一项受控种子干预试点发现，检索得到的初始上下文在种子之后探索更少的情况下，比随机非黄金上下文获得了更高的文件 F1，而 oracle 黄金上下文则显示出大量剩余提升空间。

查看 arXiv 页面 (https://arxiv.org/abs/2607.24882)
查看 PDF (https://arxiv.org/pdf/2607.24882)
项目页面 (https://agent-retrieval-bench.github.io/)
GitHub1 (https://github.com/eyuansu62/agent-retrieval-bench)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.24882)

在您的智能体中获取此论文：

hf papers read 2607\.24882

没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本论文的模型0

无模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2607.24882 即可从本页链接。

引用本论文的数据集0

无数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2607.24882 即可从本页链接。

引用本论文的 Space0

无 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2607.24882 即可从本页链接。

包含本论文的收藏0

无收藏包含此论文

将本论文添加到收藏 (https://huggingface.co/new-collection) 即可从本页链接。