论文页面 - TestPrism：超越单一参考的测试评估新思考

来源：https://huggingface.co/papers/2610.12289

摘要

大语言模型（LLM）编程智能体在各类编程任务的测试生成方面取得了显著进展。然而，当前普遍采用的评估方式——将生成的测试与单一参考解进行比对——忽略了其他同样正确的实现方案，可能导致对测试质量的高估。我们提出 TestPrism，一个包含来自 17 个数据源的 300 个测试任务、3000 个候选实现（其中有效解与无效解各占一半）的基准。其核心指标 Joint Success Function（联合成功率函数）要求生成的测试：在初始程序状态下失败、接受每一个有效候选实现、拒绝每一个无效候选实现。在 14 组基线编程智能体配置上，Joint Success Function 仅为 28.00%，而单一参考成功率却达到 59.67%。我们的分析揭示了行为遗漏、断言不支持以及测试构造错误等问题。针对这些不足，我们提出 TestHelix，它结合了异构的测试-修复对合成、对等交叉验证以及递归自我改进（RSI）。在两个模型上，TestHelix 相比原生框架基线将 Joint Success Function 提升了 8.67 到 9.00 个百分点（参见 TestHelix 评测）。

查看 arXiv 页面 (https://arxiv.org/abs/2610.12289) · 查看 PDF (https://arxiv.org/pdf/2610.12289) · 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.12289)

引用此论文的模型：0

暂无模型关联此论文。

在模型 README.md 中引用 arxiv.org/abs/2610.12289 即可从此页面关联。

引用此论文的数据集：0

暂无数据集关联此论文。

在数据集 README.md 中引用 arxiv.org/abs/2610.12289 即可从此页面关联。

引用此论文的 Spaces：0

暂无 Space 关联此论文。

在 Space README.md 中引用 arxiv.org/abs/2610.12289 即可从此页面关联。

收录此论文的合集：0

暂无合集收录此论文。

将此论文添加到合集 (https://huggingface.co/new-collection) 即可从此页面关联。