论文页面 - VeriHarness：为长时程任务扩展智能体验证

来源：https://huggingface.co/papers/2610.00972

摘要

随着 LLM 智能体承担的任务日益复杂且时程越来越长，验证其输出结果也变得越来越困难。我们研究了如何在固定的基座模型上、且在测试时无法获得参考答案或评分标准的前提下，增强模型的验证能力。重复采样会产生多次采样轨迹（rollout），其中可能包含相互补充的正确论断，但我们需要一套可靠的验证机制来判定哪些论断值得信任。我们首先发现：分歧往往会暴露正确的替代方案，而共识则可能掩盖错误。基于这些观察，我们提出了 VeriHarness，它让底层 LLM 生成器转变为一个智能体验证器——为其提供工作区、证据工具以及可复用的验证技能。一个分歧消解器（disagreement resolver）会对照环境证据核查相互冲突的论断，而一个共识挑战器（consensus challenge）则对共享论断发起质疑，并寻找被遗漏的需求。它们的发现将指导最终产物的筛选与修改。

在五个长时程工作区基准测试和两个前沿模型上，VeriHarness 在所评估的基线方法中取得了最高的选择分数。基于证据的进一步修改还提升了平均性能，相对单次采样的增益在 Gemini 3.5 Flash 上达到 6.2 分，在 Claude Opus 4.8 上达到 6.4 分。我们进一步证明，验证技能可以从失败反馈中自我改进，这表明 VeriHarness 是一种新颖且关键的方法，可用于扩展长时程智能体验证。我们发布了涵盖所有五个基准、两个模型的约 26,000 次采样轨迹完整数据集，制作成本超过 100,000 美元，以支持未来关于智能体验证的研究。

查看 arXiv 页面（https://arxiv.org/abs/2610.00972）查看 PDF（https://arxiv.org/pdf/2610.00972）项目页面（https://veriharness.com/）GitHub（https://github.com/google-research/veriharness）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2610.00972）

在你的智能体中获取这篇论文：

hf papers read 2610.00972

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型：0

尚无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.00972，即可从此页面链接。

引用本文的数据集：0

尚无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.00972，即可从此页面链接。

引用本文的 Space：0

尚无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.00972，即可从此页面链接。

收录本文的合集：0

尚无合集收录本文

将本文添加到合集（https://huggingface.co/new-collection），即可从此页面链接。