值得收藏的新AI论文。这是我早期就提出的观点，这篇论文证实了它：验证已成为一条重要的新扩展轴。以下是简单的解释以及这篇论文展示的内容。我们在扩展预训练、后训练和测试时计算方面取得了许多进展。对于后训练和测试时计算，我们仍处于早期阶段。但最重要的新方向之一是利用LLM作为验证器。验证器是扩展AI的基础。这项来自斯坦福大学、英伟达和加州大学伯克利分校的研究构建了一个免训练的验证器，它直接从评分令牌的对数几率（logits）中读取连续的校准分数，而不是依赖离散的等级。无需微调，三个旋钮即可提高准确性：评分粒度实现更清晰的区分，重复评估降低方差，标准分解降低复杂度。这些数字在不同领域表现优异：Terminal-Bench V2上达到86.5%，SWE-Bench Verified上达到78.2%，RoboRewardBench上达到87.4%，MedAgentBench上达到73.3%。同一个连续分数还可作为SAC和GRPO的密集奖励信号，以及作为Claude Code扩展中任务进度的信号。论文链接：https://arxiv.org/abs/2607.05391 在我们的学院中学习构建有效的AI智能体：https://academy.dair.ai

LLM作为验证器：一个通用验证框架

来源：https://arxiv.org/html/2607.05391

*通讯作者：Jacky Kwok Shulu Li², Pranav Atreya², Yuejiang Liu¹, Yixing Jiang¹, Chelsea Finn¹, Marco Pavone¹.³, Ion Stoica², Azalia Mirhoseini¹

¹斯坦福大学 ²加州大学伯克利分校 ³英伟达研究

请见图1：整体性能结果。我们提出的框架LLM-as-a-Verifier在编程、机器人和医疗领域均达到了最先进性能：Terminal-Bench V2（86.5%）、SWE-Bench Verified（78.2%）、RoboRewardBench（87.4%）和MedAgentBench（73.3%）。

摘要： 扩展预训练、后训练和测试时计算已成为提升大型语言模型（LLM）能力的核心范式。在这项工作中，我们将验证——即判断解决方案正确性的能力——确定为一个新的扩展轴。为了释放其潜力并展示其有效性，我们引入了LLM-as-a-Verifier，一个通用验证框架，能够为智能体任务提供细粒度的反馈，而无需额外训练。与标准LM裁判（通过提示LLM生成离散分数来评价候选解决方案）不同，LLM-as-a-Verifier通过计算评分令牌对数几率分布的期望来生成连续分数。这种概率公式大大降低了复杂解决方案比较中的平局率，并使验证能够沿多个维度扩展：(1) 评分粒度，(2) 重复评估，(3) 标准分解。特别地，我们展示扩展评分粒度能更好地区分正负解决方案，从而实现更校准的比较。此外，扩展重复评估和标准分解通过降低方差和复杂度持续带来验证准确率的额外提升。为了使验证扩展实用化，我们进一步引入了一种成本高效的排序算法，利用从验证器连续分数中导出的偏好概率，从候选方案中选择最佳方案。LLM-as-a-Verifier在编程、机器人和医疗领域均有效，在Terminal-Bench V2（86.5%）、SWE-Bench Verified（78.2%）、RoboRewardBench（87.4%）和MedAgentBench（73.3%）上达到了最先进性能。除了验证，LLM-as-a-Verifier的细粒度信号还可作为估计任务进度的代理。我们为Claude Code和Codex构建了扩展，使开发者能够监控和改进自己的智能体系统。最后，我们展示了LLM-as-a-Verifier可用作强化学习的密集奖励信号，提高了SAC和GRPO在机器人和数学推理基准上的样本效率。

请见图2：多种模态，众多应用，一个统一的验证框架。我们提出LLM-as-a-Verifier，一个通用框架，无需额外训练即可为任何模态提供细粒度反馈。通过利用评分令牌对数几率的完整分布，我们的方法捕获评估不确定性，并使验证能够沿三个维度扩展：评分粒度、重复评估和标准分解。由此产生的细粒度反馈可用于测试时扩展、进度跟踪和强化学习。

1 引言

大型语言模型（LLM）的最新进展已将扩展确立为提升其能力的核心范式。性能的提升得益于多个扩展轴的推动，包括预训练数据和计算、后训练优化以及测试时推理[kaplan_scaling_2020, gao_scaling_2022, snell_scaling_2024]。

请见图3：大型语言模型的扩展范式。

然而，虽然生成式模型从这些扩展范式中受益匪浅，但验证——判断解决方案质量或正确性的能力——却没有得到同等程度的扩展。在这项工作中，我们认为验证本身构成了一个独特且尚未充分探索的扩展轴。与受益于成熟扩展定律的生成模型不同，当前系统中的验证仍然受到根本限制。具体来说，标准LM裁判将评分分布压缩为粗略的离散分数[zheng_judging_nodate, singh_v_1_2026]，导致平局和弱判别力，而学习型奖励模型则受限于训练数据，通常无法跨领域泛化[zhang2025generativeverifiersrewardmodeling, cobbe_training_2021]。这些限制阻碍了验证的可扩展性，阻止了进一步的性能提升。

请见图4：验证扩展。我们发现验证准确率随着我们在多个维度上的扩展而持续提升：(1) 评分令牌的粒度，(2) 重复评估的次数，(3) 评估标准的分解。验证准确率通过验证器在Terminal-Bench V2上为同一任务的正确解决方案分配更高分数的成对准确率来测量。

为此，我们引入了LLM-as-a-Verifier，一个通用验证框架，无需额外训练即可提供密集且细粒度的反馈。与在语言空间内提示LLM生成离散分数的传统方法[zheng_judging_nodate]不同，LLM-as-a-Verifier通过计算评分令牌对数几率分布的期望来估计候选解决方案的质量。在图4（https://arxiv.org/html/2607.05391#S1.F4）中，我们展示了这种概率公式为验证解锁了多个扩展轴。我们首先证明，扩展提取的令牌对数几率的数量持续降低了比较复杂解决方案时的平局率，并改善了对正负解决方案的区分。我们观察到，单次评估或单一标准可能存在偏差或噪声。为了缓解这一问题，我们沿两个额外维度扩展验证：重复评估（降低方差）和标准分解（降低提示偏差），从而带来更高的验证准确率。我们在受控预算下量化了这些扩展收益，并在第4节（https://arxiv.org/html/2607.05391#S4）中将LLM-as-a-Verifier与离散LM裁判基线进行比较。为了使验证扩展实用化，我们进一步引入了一种成本高效的排序算法，利用从验证器连续分数导出的偏好概率，从候选方案中选择最佳方案。有趣的是，我们发现LLM-as-a-Verifier产生的细粒度信号能够评估整个交互轨迹，而不仅仅是像PRM和ORM那样仅评估中间步骤或最终结果[cobbe_training_2021, lightman_lets_2023]。当用作轨迹奖励模型并结合我们成本高效的排序算法时，LLM-as-a-Verifier在编程、机器人和医疗领域的挑战性基准上优于前沿模型。它在Terminal-Bench V2（86.5%）、SWE-Bench Verified（78.2%）、RoboRewardBench（87.4%轨迹偏好准确率）和MedAgentBench（73.3%）上达到了最先进性能。除了作为验证器，我们的方法还可作为估计任务进度的代理。特别地，我们观察到步骤的时间顺序与验证器分数之间存在强相关性（图8（https://arxiv.org/html/2607.05391#S5.F8））。为了实例化这些能力，我们为Claude Code和Codex提供了扩展，使用户能够监控任务进度并利用LLM-as-a-Verifier的优势来改进自己的智能体系统。在机器人领域，我们的方法优于最先进的奖励模型，包括Robometer[liang2026robometer]、TOPReward[chen2026topreward]和RoboReward[lee2026roboreward]，实现了平均价值顺序相关（VOC）0.966。总体而言，LLM-as-a-Verifier提供了一种可扩展的机制，用于改进真实环境中自主智能体和机器人的评估与监控。此外，我们证明，将LLM-as-a-Verifier用作密集奖励信号提高了离策略和在线强化学习算法的样本效率。在LIBERO[liu2023liberobenchmarkingknowledgetransfer]上，当使用DSRL-SAC[wagenmaker2025steeringdiffusionpolicylatent]微调π₀策略时，LLM-as-a-Verifier相比稀疏奖励基线的样本效率提高了约1.8倍，同时达到了更高的最终成功率。在MATH推理基准上，当使用GRPO[deepseek-ai_deepseek-r1_2025]微调Qwen3-8B时，其样本效率提高了约1.1倍。总结来说，我们的贡献如下：

1. 我们引入了LLM-as-a-Verifier，一个概率验证框架，利用评分令牌对数几率的完整分布产生细粒度反馈，并刻画了验证扩展的三个关键轴：(1) 评分粒度，(2) 重复评估，(3) 标准分解。
2. 我们提出了一种成本高效的候选排序算法，并证明当与验证扩展相结合时，LLM-as-a-Verifier在编程、机器人和医疗基准上无需额外训练即可达到最先进性能。
3. 我们展示了细粒度的验证器分数与智能体的任务进度相关，可用于监控智能体和机器人的行为。
4. 我们证明LLM-as-a-Verifier可以为强化学习提供密集反馈，提高了机器人和数学推理基准上在线和离线算法的样本效率。

2 预备知识

我们将与环境交互的智能体建模为一个有限时域马尔可夫决策过程（MDP）M = (C, S, A, P, R, H)，其中C表示上下文空间，S表示状态空间，A表示动作空间，P: C × S × A → Δ(S)表示转移动态，R: C × S × A → R表示奖励函数，H ∈ N⁺表示时域。在每个回合开始时，采样任务提示 x ∈ C，智能体从初始状态 s₁ ∈ S 开始。在每个时间步 t ∈ [1, H]，智能体观察当前状态 s_t，选择动作 a_t ∈ A，并转移到下一状态 s_{t+1} ∼ P(· | x, s_t, a_t)。在基于LLM的智能体中，状态对应先前的交互历史，动作对应令牌序列，例如自然语言响应、代码编辑和工具调用。轨迹定义为 τ = (s₁, a₁, s₂, a₂, …, s_H, a_H)。我们假设可以访问一个语言模型 π_θ: C × S → Δ(A)，参数化为 θ，动作从中自回归采样。奖励模型为动作或轨迹分配一个标量分数。传统方法依赖于提示LLM在语言空间中产生离散分数。形式上，此类奖励模型可写为 R_LM(x, τ) ∈ {1, …, G}，其中分数是生成的令牌。

3 提出的方法：LLM-as-a-Verifier

3.1 动机

请见图5：Oracle Pass@K 在 Terminal-Bench V2 上达到 98.9%。大多数模型已经具备解决许多任务的能力：当重复执行时，它们通常至少产生一次正确的解决方案。如图5（https://arxiv.org/html/2607.05391#S3.F5）左所示，假设存在一个总是选择最优轨迹的 Oracle 验证器，当我们扩展 Terminal-Bench 上采样轨迹的数量时，已解决任务的分数持续增加。在此设置下，当汇集整个 Terminal-Bench V2 排行榜上的轨迹时，成功率达到了 98.9%，几乎解决了整个基准测试。然而，要捕获这种潜力，需要一个能够可靠区分正确轨迹与错误轨迹的验证器。虽然标准LM裁判[zheng_judging_nodate]可用作验证器，但它们未能提供足够细粒度的反馈。具体来说，它们提示模型输出一个离散的评分令牌，并选择最高概率的令牌作为最终分数，从而将完整的评分分布坍缩为一个单一值。这导致了固有的粗糙评估。在比较复杂解决方案时，标准LM裁判经常分配相同的分数，导致平局，无法区分它们。结果，粗粒度评分在Terminal-Bench上导致了高平局率（27%），不同的轨迹常常坍缩到同一分数，如图7（https://arxiv.org/html/2607.05391#S4.F7）所示。另一种方法是训练一个奖励模型[stiennon_learning_2022]，但此类方法受限于其训练数据，通常无法跨领域泛化。这些限制促使需要一个可泛化的框架，能够提供细粒度的验证信号。

3.2 方法论

细粒度奖励估计。 根据定义，裁判是形成总体意见并做出决定的人，而验证者是确认某事的真实性或正确性的人，需要更详细的评估。为此，我们引入了LLM-as-a-Verifier，一个概率验证框架，通过扩展评分粒度、重复评估和标准分解来提供细粒度反馈。

令 V_score = {v₁, …, v_G} 表示一个代表离散评分等级的有序令牌集。给定任务提示 x，语言模型 p_θ，标准 c，以及两个候选轨迹 τ_i 和 τ_j，我们构建评分提示并获得其条件分布 p_θ(v | x, c, τ_i) 和 p_θ(v | x, c, τ_j)。