论文页面 - ProgramDistill：从交互式Web应用到可验证的参考引导型软件工程任务

来源：https://huggingface.co/papers/2609.18805

摘要

编码代理通常通过问题或指令来指定期望行为进行评估。然而，在实际的Web开发中，代理可能需要从运行正常的软件中推断行为，并在不完整的应用程序中实现它。我们介绍了ProgramDistill，这是一个通过与功能完备的参考应用程序交互来发现功能特性，以评估编码代理的基准测试。我们通过将应用程序分解为不同粒度的功能特性来构建ProgramDistill，每个特性都关联了可通过其金牌补丁执行的可重放行为。我们的流程mine-craft-patch在26个应用程序中发现了1,975个经重放验证的行为，并在无需人工干预的情况下构建了4,063个任务。在九个前沿编码代理中，GPT-6Astra和Claude Opus5在完整应用程序重建的累积工作流上分别取得了49.2%和28.8%的成功率。在部分应用程序重建中，随着恢复深度从1增加到8，成功率分别从100%降至64.0%，以及从96%降至32%。因此，ProgramDistill提供了一个具有可控难度的可扩展基准，用于评估和诊断编码代理，并为未来的基于课程的学习训练奠定了自然基础。

查看 arXiv 页面 (https://arxiv.org/abs/2609.18805) 查看 PDF (https://arxiv.org/pdf/2609.18805) 项目页面 (https://microsoft.github.io/debug-gym/blog/2026/09/programdistill/) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2609.18805)

在您的代理中获取此论文：

hf papers read 2609\.18805

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2609.18805 以从本页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.18805 以从本页面链接。

引用此论文的 Spaces0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2609.18805 以从本页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从本页面链接。