论文页面 - VerifierBench：面向 LLM Agent 的可执行验证器生成基准测试

来源：https://huggingface.co/papers/2610.28679

摘要

Agent 会生成可执行的验证器来校验输出，但这些验证器常常因为隐含假设而错误地拒绝有效解，因此有必要测试其对多种正确答案的接受能力。

Agent 需要可靠的方式来校验输出，无论是在完成任务时还是在筛选合成训练数据时。我们研究了验证器生成：给定解决某任务的指令和环境，Agent 需要编写一个可执行验证器，该验证器必须接受所有有效解并拒绝无效解。我们提出了 VerifierBench，一个包含 222 个任务的基准测试，涵盖六个 Agent 基准，涉及工具调用、基于状态的验证和代码验证，包含 4,993 个隐藏测试用例，其中包含替代有效解和对抗攻击；Verifier4Verifier（V4V）通过六项检查对源验证器和测试套件进行筛选。在统一 Agent 框架下对 19 个模型进行评测，归一化平衡准确率从 10.6 到 62.1 不等，生成的验证器在拒绝无效解方面始终比接受有效解更为可靠。这种表面上的优势可能掩盖了过于严格的验证问题：在分析的记录中，大多数误拒源自那些对任务的所有测试解都不接受的验证器。案例分析揭示了关于解的格式、工具使用和代码修改的无依据假设，这些假设导致有效解被排除在外。这些错误在自我测试中仍然存在，因为 Agent 测试的解与验证器共享相同的错误假设，或者提交验证器时并未确认任何正确解能够通过。这些发现表明，应当同时测试验证器是否接受正确解，以及是否接受任务所允许的其他解。项目页面和数据集已公开。

查看 arXiv 页面 (https://arxiv.org/abs/2610.28679) · 查看 PDF (https://arxiv.org/pdf/2610.28679) · 项目页面 (https://verifierbench.github.io/) · GitHub3 (https://github.com/DwanZhang-AI/verifier-suite) · 加入收藏

引用此论文的模型：0

暂无模型链接到此论文。

在模型 README.md 中引用 arxiv.org/abs/2610.28679，即可从此页面链接到该论文。

引用此论文的数据集：0

暂无数据集链接到此论文。

在数据集 README.md 中引用 arxiv.org/abs/2610.28679，即可从此页面链接到该论文。

引用此论文的 Spaces：0

暂无 Space 链接到此论文。

在 Space README.md 中引用 arxiv.org/abs/2610.28679，即可从此页面链接到该论文。

收录此论文的合集：0

暂无合集收录此论文。

将此论文添加到合集即可从此页面链接到该论文。