@gurtej__gill_: 来自斯坦福、伯克利和NVIDIA的这篇新论文感觉像是测试时计算拼图中至关重要的一块……

斯坦福、伯克利和 NVIDIA 的这篇新论文感觉像是测试时计算领域的一块重要拼图。他们提出了“LLM 作为验证器”的观点，认为验证是我们需要关注的下一个主要扩展轴。与将 LLM 评委视为输出严格离散分数的黑盒不同，他们提取 token logits 来计算连续的概率期望值。这听起来很微妙，但它完全解决了在比较两个复杂的长程智能体轨迹时的“平局率”问题。通过扩大评分粒度、进行重复评估以及分解标准，他们获得了非常校准的结果。性能提升显著：全面达到最先进水平，包括在 Terminal-Bench 2.0 上达到 86.5%（击败 GPT-5.5），在 SWE-Bench Verified 上达到 78.2%。而且这不仅仅是理论上的。由于反馈是如此细粒度，他们将其用作密集奖励信号来大幅加速强化学习效率（如 GRPO 和 SAC），并且已经为 Claude Code 构建了一个实用扩展，用于实时跟踪智能体进度。这绝对是一篇值得阅读的作品，作者包括 Jacky Kwok、Chelsea Finn、Ion Stoica 以及团队其他成员。在此阅读完整论文：https://arxiv.org/pdf/2607.05391v1… — # LLM-as-a-Verifier: 一个通用验证框架 来源：https://arxiv.org/html/2607.05391v1 \通讯作者 Jacky Kwok Shulu Li2Pranav Atreya2Yuejiang Liu1Yixing Jiang1 Chelsea Finn1Marco Pavone1,3Ion Stoica2Azalia Mirhoseini1 1斯坦福大学2加州大学伯克利分校3NVIDIA 研究 参见说明图1：整体性能结果。我们提出的框架 LLM-as-a-Verifier 在编程、机器人和医学领域实现了最先进的性能：Terminal-Bench V2 (86.5%)、SWE-Bench Verified (78.2%)、RoboRewardBench (87.4%) 和 MedAgentBench (73.3%)。摘要：扩展预训练、后训练和测试时计算已成为提升大型语言模型能力的主要范式。在这项工作中，我们将验证——即确定解决方案正确性的能力——识别为一个新的扩展轴。为了解锁这一能力并展示其有效性，我们引入了 LLM-as-a-Verifier，这是一个通用验证框架，无需额外训练即可为智能体任务提供细粒度反馈。与标准 LM 评委（提示 LLM 为候选方案生成离散分数）不同，LLM-as-a-Verifier 通过计算评分 token logits 分布上的期望值来生成连续分数。这种概率公式显著降低了比较复杂方案时的平局率，并使验证能够在多个维度上扩展：(1) 分数粒度，(2) 重复评估，以及 (3) 标准分解。特别是，我们表明，扩展评分粒度可以更好地区分正负方案，从而实现更校准的比较。此外，通过重复评估和标准分解扩展，可以通过降低方差和复杂性持续提高验证准确性。为了使验证扩展实用化，我们进一步引入了一种成本高效的排序算法，使用从验证器连续分数中得出的偏好概率来从候选方案中选择最佳方案。LLM-as-a-Verifier 在编程、机器人和医学领域均有效。它在 Terminal-Bench V2 (86.5%)、SWE-Bench Verified (78.2%)、RoboRewardBench (87.4%) 和 MedAgentBench (73.3%) 上取得了最先进的性能。除了验证之外，LLM-as-a-Verifier 的细粒度信号还可以作为估计任务进度的代理。我们为 Claude Code 和 Codex 构建了扩展，使开发人员能够监控和改进他们自己的智能体系统。最后，我们展示了 LLM-as-a-Verifier 可以作为强化学习的密集奖励信号，在机器人和数学推理基准上提高 SAC 和 GRPO 的样本效率。 参见说明图2：多种模态、众多应用、一个统一的验证框架。我们提出 LLM-as-a-Verifier，一个通用框架，无需额外训练即可为任何模态提供细粒度反馈。通过利用评分 token logits 的完整分布，我们的方法捕获了评估不确定性，并使验证能够沿三个维度扩展：分数粒度、重复评估和标准分解。由此产生的细粒度反馈可用于测试时扩展、进度跟踪和强化学习。## 1 引言 大型语言模型的最新进展已将扩展确立为提升其能力的核心范式。性能的提升来自于沿多个轴线的扩展，包括预训练数据和计算、后训练优化以及测试时推理 [kaplan_scaling_2020, gao_scaling_2022, snell_scaling_2024]。 参见说明图3：大型语言模型的扩展范式。然而，尽管生成能力从这些扩展范式中获益匪浅，但验证——即判断解决方案质量或正确性的能力——却没有得到同等程度的扩展。在这项工作中，我们认为验证本身是一个独特且尚未充分探索的扩展轴。与受益于已建立的扩展定律的生成不同，当前系统中的验证从根本上受到限制。特别是，标准 LM 评委会将评分分布压缩为粗略的离散分数 [zheng_judging_nodate, singh_v_1_2026]，导致平局和较差的区分能力，而学习得到的奖励模型则受到训练数据的限制，通常难以跨领域泛化 [zhang2025generativeverifiersrewardmodeling, cobbe_training_2021]。这些限制阻碍了验证的可扩展性，阻止了进一步的性能提升。 参见说明图4：验证扩展。我们发现，随着我们在多个维度上扩展，验证准确性持续提高：(1) 评分 token 的粒度，(2) 重复评估的次数，以及 (3) 评估标准的分解。验证准确性通过验证器在 Terminal-Bench V2 上对同一任务中成功解决方案的评分高于失败解决方案的成对准确性来衡量。为此，我们引入了 LLM-as-a-Verifier，这是一个通用验证框架，无需额外训练即可提供密集且细粒度的反馈。与传统方法（提示 LLM 在语言空间内生成离散分数 [zheng_judging_nodate]）不同，LLM-as-a-Verifier 通过计算评分 token logits 分布上的期望值来估计候选方案的质量。在图4 (https://arxiv.org/html/2607.05391v1#S1.F4) 中，我们展示了这种概率公式为验证解锁了多个扩展轴。我们首先证明，扩展提取的 token logits 数量能够持续降低比较复杂方案时的平局率，并改善正负方案之间的分离。我们观察到，单个评估或单一标准可能存在偏差或噪声。为了缓解这个问题，我们沿着另外两个维度扩展验证：重复评估（降低方差）和标准分解（降低提示偏差），从而带来更高的验证准确性。我们在受控预算下量化了这些扩展收益，在第4节 (https://arxiv.org/html/2607.05391v1#S4) 中将 LLM-as-a-Verifier 与离散 LM 评委基线进行了比较。为了使验证扩展实用化，我们进一步引入了一种成本高效的排序算法，使用从验证器连续分数中得出的偏好概率来从候选方案中选择最佳方案。有趣的是，我们发现 LLM-as-a-Verifier 产生的细粒度信号能够评估整个交互轨迹，而不仅仅是像 PRM 和 ORM 那样评估中间步骤或最终结果 [cobbe_training_2021, lightman_lets_2023]（针对智能体任务）。当与我们的成本高效排序算法一起用作轨迹奖励模型时，LLM-as-a-Verifier 在编程、机器人和医学领域的挑战性基准上超越了前沿模型。它在 Terminal-Bench V2 (86.5%)、SWE-Bench Verified (78.2%)、RoboRewardBench (87.4% 轨迹偏好准确率) 和 MedAgentBench (73.3%) 上取得了最先进的性能。除了作为验证器的角色之外，我们的方法还可以作为估计任务进度的代理。值得注意的是，我们观察到步骤的时间顺序与验证器分数之间存在很强的相关性（图8 (https://arxiv.org/html/2607.05391v1#S5.F8)）。为了实例化这些能力，我们为 Claude Code 和 Codex 提供了扩展，使用户能够监控任务进度并利用 LLM-as-a-Verifier 的优势来改进他们自己的智能体系统。在机器人领域，我们的方法优于最先进的奖励模型，包括 Robometer [liang2026robometer]、TOP Reward [chen2026topreward] 和 RoboReward [lee2026roboreward]，实现了 0.966 的平均 Value-Order Correlation (VOC)。总体而言，LLM-as-a-Verifier 为改进现实环境中自主智能体和机器人的评估和监控提供了一种可扩展的机制。此外，我们证明了使用 LLM-as-a-Verifier 作为密集奖励信号可以提高离策略和在策略强化学习算法的样本效率。在 LIBERO [liu2023liberobenchmarkingknowledgetransfer] 上，当使用 DSRL-SAC [wagenmaker2025steeringdiffusionpolicylatent] 微调π0\pi_{0}策略时，LLM-as-a-Verifier 实现了约 1.8 倍于稀疏奖励基线的样本效率，同时达到了更高的最终成功率。在 MATH 推理基准上，当使用 GRPO [deepseek-ai_deepseek-r1_2025] 微调 Qwen3-8B 时，它实现了约 1.1 倍于基线的样本效率。总之，我们的贡献如下： 1. 我们引入了 LLM-as-a-Verifier，这是一个概率验证框架，利用评分 token logits 的完整分布来生成细粒度反馈，并表征了验证扩展的三个关键轴：(1) 分数粒度，(2) 重复评估，以及 (3) 标准分解。 2. 我们提出了一种成本高效的候选排序算法，并证明了当与验证扩展相结合时，LLM-as-a-Verifier 无需额外训练即可在编程、机器人和医学基准上达到最先进的性能。 3. 我们展示了细粒度验证器分数与智能体的任务进度相关，并可用于监控智能体和机器人的行为。 4. 我们证明了 LLM-as-a-Verifier 可以为强化学习提供密集反馈，在机器人技术和数学推理基准上提高在策略和离策略算法的样本效率。 ## 2 预备知识 我们将与环境交互的智能体建模为一个有限时域马尔可夫决策过程 MDP M=(C,S,A,P,R,H)\mathcal{M}=(\mathcal{C},\mathcal{S},\mathcal{A},P,R,H)，其中C\mathcal{C}表示上下文空间，S\mathcal{S}状态空间，A\mathcal{A}动作空间，P:C×S×A→Δ(S)P:\mathcal{C}\times\mathcal{S}\times\mathcal{A}\rightarrow\Delta(\mathcal{S})转移动态，R:C×S×A→RR:\mathcal{C}\times\mathcal{S}\times\mathcal{A}\rightarrow\mathbb{R}奖励函数，H∈N+H\in\mathbb{N}^{+}时域。在每个回合开始时，采样一个任务提示x∈Cx\in\mathcal{C}，智能体从一个初始状态s1∈Ss_{1}\in\mathcal{S}开始。在每个时间步t∈[1,H]t\in[1,H]，智能体观察当前状态sts_{t}，选择动作at∈Aa_{t}\in\mathcal{A}，并转移到下一个状态st+1∼P(⋅∣x,st,at)s_{t+1}\sim P(\cdot\mid x,s_{t},a_{t})。在基于 LLM 的智能体中，状态对应于先前的交互历史，动作对应于 token 序列，例如自然语言响应、代码编辑和工具调用。轨迹定义为τ=(s1,a1,s2,a2,…,sH,aH)\tau=(s_{1},a_{1},s_{2},a_{2},\dots,s_{H},a_{H})。我们假设可以访问一个语言模型πθ:C×S→Δ(A)\pi_{\theta}:\mathcal{C}\times\mathcal{S}\rightarrow\Delta(\mathcal{A})，参数化为θ\theta，动作从中自回归采样。奖励模型为动作或轨迹分配标量分数。传统方法依赖于提示 LLM 在语言空间中生成离散分数。形式化地，此类奖励模型可以写成RLM(x,τ)∈{1,…,G}R_{\text{LM}}(x,\tau)\in\{1,\dots,G\}，其中分数是生成的 token。 ## 3 提议方法：LLM-as-a-Verifier ### 3.1 动机 参见说明图5：Oracle Pass@K 在 Terminal-Bench V2 上达到 98.9%。大多数模型已经具备解决许多任务的能力：当重复执行时，它们通常至少一次能产生正确的解决方案。如图5 (https://arxiv.org/html/2607.05391v1#S3.F5) 左侧所示，在假设存在一个总能选择最优轨迹的 Oracle 验证器的情况下，随着我们在 Terminal-Bench 上采样轨迹数量的增加，已解决任务的比例持续上升。在这种设置下，当汇集整个 Terminal-Bench V2 排行榜的轨迹时，成功率达到了 98.9%，实际上解决了几乎整个基准测试。然而，要捕获这种提升空间，需要一个能够可靠地区分正确轨迹与错误轨迹的验证器。虽然标准 LM 评委会 [zheng_judging_nodate] 可以用作验证器，但它们无法提供足够细粒度的反馈。具体来说，它们提示模型输出一个离散的分数 token，并选择概率最高的 token 作为最终分数，从而将完整的评分分布压缩为单个值。这导致了固有的粗糙评估。在比较复杂方案时，标准 LM 评委会经常赋予相同的分数，导致平局，无法区分它们。因此，粗略的评分导致 Terminal-Bench 上高平局率 (27%)，不同的轨迹经常坍缩到相同的分数，如图7 (https://arxiv.org/html/2607.05391v1#S4.F7) 所示。我们也可以训练一个奖励模型 [stiennon_learning_2022]，但此类方法受限于其训练数据，并且难以跨领域泛化。这些局限性促使我们需要一个通用框架，能够提供细粒度的验证信号。 ### 3.2 方法论 细粒度奖励估计。根据定义，评判者是形成总体意见并做出决定的人，而验证者是确认某事真实或正确性并要求更详细评估的人。为此，我们引入了 LLM-as-a-Verifier，一个通过扩展评分粒度、重复评估和标准分解来提供细粒度反馈的概率验证框架。设Vscore={v1,…,vG}V_{\text{score}}=\{v_{1},\ldots,v_{G}\}表示一个表示离散分数等级的 token 有序集合。给定一个任务提示xx，一个语言模型pθp_{\theta}，一个标准cc，以及两个候选轨迹τi\tau_{i}和τj\tau_{j}，我们构建评分提示并获得其条件分布pθ(v∣x,c,τi)p_{\theta}(v\mid x,c,\tau_{i})