论文页面 - 薛定谔的代码仓库：大语言模型是学会了SWE-bench还是记住了它？

来源：https://huggingface.co/papers/2609.27891

摘要

仓库级编码基准测试已成为评估编码代理的标准，但由于它们基于被反复用于训练的流行开源仓库构建，因此天生存在数据泄露问题。因此，优异的表现可能反映的是对典型仓库线索的记忆，而非稳健的仓库推理能力。我们提出了SchrodingerRepo（薛定谔的仓库），这是一个用于在动态实例化仓库表示下测试编码代理的评估框架。SchrodingerRepo没有反复使用测试仓库的静态表示，而是将测试仓库视为一个评估时的潜在变量，仅在代理进入评估环境时才进行动态实例化。实例化后的仓库保留了原始的可执行行为，同时通过四个转换级别——问题陈述重建、命名空间重映射、文件内布局重排和功能保持的代码重写——削弱了熟悉的线索，如命名约定、文件布局和实现模式。我们在SWE-bench Verified和SWE-QA上评估了流行的大语言模型。结果显示，移除熟悉的仓库线索会持续降低代理性能，并显著增加所有模型的交互成本。进一步分析表明，额外的成本主要源于仓库探索和定位难度的增加。这些发现表明，当前的编码代理可能部分依赖于记忆化的仓库线索，突显了在动态实例化仓库表示下进行评估的必要性。

查看arXiv页面 (https://arxiv.org/abs/2609.27891) 查看PDF (https://arxiv.org/pdf/2609.27891) GitHub4 (https://github.com/cslsolow/Schrodinger-Repo) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.27891)

在你的代理中获取此论文：

hf papers read 2609\.27891

还没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

没有模型链接到此论文

在模型README.md中引用arxiv.org/abs/2609.27891，以从此页面链接到该模型。

引用本文的数据集0

没有数据集链接到此论文

在数据集README.md中引用arxiv.org/abs/2609.27891，以从此页面链接到该数据集。

引用本文的Spaces0

没有Space链接到此论文

在Space README.md中引用arxiv.org/abs/2609.27891，以从此页面链接到该Space。

包含本文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接到该收藏集。