REPOEXEC：基于仓库级可执行基准评估代码生成

Papers with Code Trending 论文
code-generation benchmark repository-level code-llms executable-code fine-tuning

摘要

RepoExec 是一个面向仓库级代码生成评估的新基准，聚焦于可执行性、通过自动化测试生成实现的功能正确性，以及跨文件依赖的整合。实验表明，预训练大模型在正确性上优于指令微调模型，而微调模型则更能有效利用所提供的代码依赖。

CodeLLM 在仓库级规模上生成可执行且功能正确的代码的能力，在很大程度上尚未得到探索。我们提出 RepoExec——一个用于评估仓库级代码生成的新基准。RepoExec 聚焦于三个方面：可执行性、通过高覆盖率的自动化测试用例生成功能正确性，以及精心设计的跨文件上下文以准确生成代码。我们的工作探索了一种受控场景，其中开发者指定了必要的代码依赖，要求模型准确地整合这些依赖。实验表明，预训练大模型在正确性上优于指令微调模型，而后者在利用所提供依赖以及展现调试能力方面表现更佳。我们还引入了一个专注于代码依赖的新指令微调数据集，并证明在该数据集上微调的 CodeLLM 能更有效地利用这些依赖。RepoExec 旨在对代码功能及与开发者意图的一致性进行全面评估，为构建在真实场景中更可靠、更实用的 CodeLLM 铺平道路。数据集和源代码可在 https://github.com/FSoft-AI4Code/RepoExec 找到。
查看原文
查看缓存全文

缓存时间: 2026/10/06 16:08

论文页面 - REPOEXEC：使用仓库级可执行基准评估代码生成

来源：https://huggingface.co/papers/2406.11927 发布于 2024 年 6 月 17 日

摘要

RepoExec 是一个基准，用于评估仓库级代码生成，重点关注可执行性、功能正确性和依赖集成。

CodeLLMs (https://huggingface.co/papers?q=CodeLLMs)在仓库级规模上生成可执行 (https://huggingface.co/papers?q=executable)且功能正确代码的能力在很大程度上尚未得到探索。我们提出了RepoExec (https://huggingface.co/papers?q=RepoExec)，这是一个用于评估仓库级代码生成的新型基准。RepoExec (https://huggingface.co/papers?q=RepoExec)主要关注三个方面：可执行性、通过高覆盖率的自动化测试用例生成 (https://huggingface.co/papers?q=automated%20test%20case%20generation)实现的功能正确性 (https://huggingface.co/papers?q=functional%20correctness)，以及精心构建的跨文件上下文 (https://huggingface.co/papers?q=cross-file%20contexts)以实现准确的代码生成。我们的工作探索了一个受控场景，其中开发者指定必要的代码依赖 (https://huggingface.co/papers?q=code%20dependencies)，从而挑战模型准确地集成这些依赖。实验表明，预训练的 LLMs (https://huggingface.co/papers?q=LLMs)在正确性方面优于指令微调模型，但后者在利用所提供依赖以及展示调试能力 (https://huggingface.co/papers?q=debugging%20capabilities)方面表现出色。我们还引入了一个新的指令微调数据集，重点关注代码依赖 (https://huggingface.co/papers?q=code%20dependencies)，并证明在我们的数据集上微调的 CodeLLMs (https://huggingface.co/papers?q=CodeLLMs)具备更好的能力来有效利用这些依赖。RepoExec (https://huggingface.co/papers?q=RepoExec)旨在对代码功能及其与开发者意图的对齐进行综合评估，为在真实场景中获得更可靠、更适用的 CodeLLMs (https://huggingface.co/papers?q=CodeLLMs)铺平道路。数据集和源代码可在~https://github.com/FSoft-AI4Code/RepoExec (https://huggingface.co/papers?q=RepoExec)找到。

查看 arXiv 页面 (https://arxiv.org/abs/2406.11927)查看 PDF (https://arxiv.org/pdf/2406.11927)GitHub164auto (https://github.com/FSoft-AI4Code/RepoExec)加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2406.11927)

在你的代理中获取这篇论文：

hf papers read 2406\.11927`

没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2406.11927，即可从本页面链接该模型。

引用此论文的数据集2

Fsoft-AIC/RepoExec Viewer• 更新于2024年6月23日 • 1.07k • 654 • 6 (https://huggingface.co/datasets/Fsoft-AIC/RepoExec)

Fsoft-AIC/RepoExec-Instruct Viewer• 更新于2024年6月26日 • 156k • 89 • 2 (https://huggingface.co/datasets/Fsoft-AIC/RepoExec-Instruct)

引用此论文的 Spaces0

没有 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2406.11927，即可从本页面链接该 Space。

包含此论文的合集1

相似文章

SWE-Explore：编码代理仓库探索能力基准测试

Hugging Face Daily Papers

SWE-Explore 引入了一个基准测试，用于评估编码代理的仓库探索能力，要求在行预算内返回相关代码区域的排序列表。实验表明，基于代理的探索优于传统检索，而行级覆盖仍然是关键区分因素。

你是在综合生成，还是在回忆背诵？基于算法代码检索评估大语言模型（LLMs）

arXiv cs.LG

本文提出了 AlgoREval，一个涵盖 599 个问题的基准测试，涉及 14 个领域、7 种编程语言和 4 种图输入表示下的 77 个经典算法，用于衡量大语言模型（LLMs）复现知名算法的能力——即将其视为"参数化代码检索"而非真正的算法综合生成。在 15 个模型（7B–34B）上的实验表明，模型准确率随编程语言和输入格式的不同而差异显著；作者提醒，在未经系统性验证的情况下，不应对 AI 生成的算法代码直接投入部署使用。