Salesforce AI Research 又一篇好论文。

核心发现是：一个 31B 的开源 Gemma-4 网页智能体，在 9 个应用的 WebArena Infinity 基准上拿到了 74.6% 的分数，超过了带浏览器使用功能的 Gemini 3 Flash（70.1%）。

他们实现这一点的方式，既不需要在每一步都调用前沿模型裁判，也不需要在部署时使用裁判。

CLIFT 让智能体针对自己的执行轨迹回答验证性问题。

一个保形认证器（conformal certifier）只保留那些回答与训练时裁判判断一致的问题，根据这些问题的可信程度赋予权重，并将结果加入每一步的奖励中。

在测试阶段，同一套冻结的问题库用于在贪心轨迹和若干次重试之间做选择，无需任何外部裁判。

训练后的智能体相比其基座模型提升了 12.8 分，在 9 个应用中赢了 7 个。该问题库在测试阶段迁移到 VisualWebArena 上的 GPT-5.5 同样有效，而一个经过翻译的问题库在 Online Mind2Web 上无需针对该基准做任何训练，即可提升在线网页智能体的表现。

论文：https://arxiv.org/abs/2610.06829

与论文对话：https://academy.dair.ai/papers/clift-conformal-self-verification-for-web-agent-training-and-test-time-scaling-2610.06829…

CLIFT：面向网页智能体训练与测试时扩展的保形自验证

来源：https://arxiv.org/html/2610.06829

摘要

开源网页智能体已足够强大，能够执行真实的浏览器任务，但用强化学习训练它们仍依赖弱监督信号：二值任务成功信号过于稀疏，不利于信用分配；而前沿语言模型裁判的调用成本太高，无法在每一步都使用，也不能假定部署时可用。我们提出 CLIFT，一种基于保形自验证（conformal self-verification）的训练与测试时扩展方法。在训练期间，智能体针对自身的执行轨迹回答自然语言验证问题；一个组合式保形认证器（Compositional Conformal Certifier）只保留那些 URL 条件化证据与训练时裁判一致的问题信号，通过极性感知提升（polarity-aware lift）赋予带符号的信任权重，并以不会从裁判基线中扣分的方式将验证器得分融合进每一步奖励。在测试时，同一套经认证的问题库被冻结并复用为保形轨迹选择（Conformal Trajectory Selection, CTS）的结构化证据：智能体采样一条贪心轨迹和一条或多条多样化重试，自验证器总结每条 URL 轨迹，然后通过保守的多数投票规则决定是否替换当前最优轨迹，全程不调用任何外部裁判。这一个机制支撑了三种场景。在 WebArena Infinity 上，CLIFT 在开源网页智能体中取得了最先进（SOTA）的性能。在 VisualWebArena 上，用开源模型训练得到的问题库迁移到 GPT-5.5，在标准评测框架下同样达到 SOTA。在 Online Mind2Web 上，无需在该基准上训练任何智能体，仅通过翻译并重新校准认证问题库，即可在零样本评估中提升在线网页智能体的性能。这些结果共同表明：保形自验证是将昂贵的裁判反馈转化为可复用训练信号和无需裁判的测试时扩展信号的有效途径。

1 引言

开源网页智能体已经发展到可以操作真实浏览器界面的水平，但验证器仍然是用强化学习改进它们的瓶颈。二值成功信号容易部署，但对信用分配而言过于稀疏：当 GRPO 组（Shao et al., 2024 (https://arxiv.org/html/2610.06829#bib.bib29)）中的所有轨迹获得相同结果时，优势估计就会退化。前沿语言模型裁判（Bai et al., 2022 (https://arxiv.org/html/2610.06829#bib.bib5)；Liu et al., 2023 (https://arxiv.org/html/2610.06829#bib.bib19)）能提供更丰富的反馈，但训练时成本高昂，且不能假定测试时可用。这种张力在网页智能体基准中尤为明显：WAI（Zhou, 2026 (https://arxiv.org/html/2610.06829#bib.bib48)）使用基于程序的逐应用验证器，VWA（Koh et al., 2024 (https://arxiv.org/html/2610.06829#bib.bib15)）使用基于结果的 URL/DOM 检查，而在线网页套件如 OM2W（Xue et al., 2025 (https://arxiv.org/html/2610.06829#bib.bib41)）则依赖含噪声的 LLM 裁判。策略往往不是唯一的限制因素；我们如何打分和选择其轨迹，可能比策略本身更能决定观察到的成功率。

表 1：网页智能体强化学习与测试时扩展的反馈机制对比。Dense = 超越二值结果的逐步反馈；URL = URL 状态锚定；Cert. = 经认证的信任；J-free = 无需裁判的测试时；TTS = 测试时扩展；Xfer = 可迁移问题库。

CLIFT 提出的问题是：裁判的反馈能否被转化为一个可复用的验证器，让智能体随身携带，而不是依赖单独的过程奖励模型（Lightman et al., 2024 (https://arxiv.org/html/2610.06829#bib.bib18)；Wang et al., 2024 (https://arxiv.org/html/2610.06829#bib.bib37)）或事后 best-of-N 打分器（Cobbe et al., 2021 (https://arxiv.org/html/2610.06829#bib.bib8)；Snell et al., 2025 (https://arxiv.org/html/2610.06829#bib.bib33)）。CLIFT 维护一个关于网页智能体行为的自然语言验证问题库，并认证哪些问题在哪些 URL 状态下是可靠的。同一个问题库在两处使用（图 2 (https://arxiv.org/html/2610.06829#S2.F2)）。在训练时，经认证的问题库证据与对比裁判融合，产生更稠密的逐步奖励和 URL 分层优势。在测试时，训练后的智能体执行贪心轨迹和多样化重试；冻结的认证问题库总结每条 URL 轨迹；保守的轨迹选择器为每个任务保留一条轨迹。这个共享的对象不是新模型，而是一个经过校准的验证器：一组问题、URL 范围、极性符号和保形信任权重，可在训练结束后继续复用。

图 1：CLIFT 概念示意。朴素 GRPO 广播一个轨迹标量奖励；CLIFT 用验证问题对每个访问过的 URL 打分，并将 URL 分数继承给在该 URL 上执行的动作。完整流程见图 2 (https://arxiv.org/html/2610.06829#S2.F2)。

认证器是使这超越提示工程的关键部分。每个验证问题携带一个 URL 范围和一个极性符号，表示回答 YES 是进展的证据还是失败的证据。Mondrian 自适应保形追踪器（Gibbs and Candès, 2021 (https://arxiv.org/html/2610.06829#bib.bib12)；Vovk, 2012 (https://arxiv.org/html/2610.06829#bib.bib35)）估计该问题在相关 URL 粒度上是否能区分高裁判分和低裁判分的轨迹。经认证的问题获得带符号的信任权重。在训练时，这产生一个只能在裁判基线之上叠加证据的验证器奖励，避免了早期线性融合方法的奖励塌缩问题。在测试时扩展时，同样的带符号证据被冻结，并呈现给对比选择器以在两条已完成的轨迹间做选择。在这两种情况下，问题库都是昂贵裁判反馈与智能体自身轨迹之间的紧凑接口。

我们从三个互补的角度评估了这一思路。在 WAI 上，基于程序的验证器提供稠密的训练监督，CLIFT 提升了一个可训练的开源 Gemma-4 智能体，并达到了我们所知最强的公开 9 应用得分；关键在于在同一开源基座上同时实现训练和 CTS。在 VWA 上，评估更偏基于结果，我们将 Gemma-4 训练期间创建的问题库用作 GPT-5.5 的测试时验证器，表明学到的验证知识可以迁移到更强的闭源基座，并在标准评测框架下达到 SOTA 性能。在 OM2W 上，我们进一步推进了迁移：没有任何智能体在 OM2W 上训练；相反，经过翻译和重新校准的认证问题库被 CTS 用于提升在线网页的测试时扩展性能。这三个案例共同支持同一主张：保形自验证既是有用的训练信号，也是可复用的、无需裁判的测试时扩展信号。相关工作在实证部分之后讨论（§6 (https://arxiv.org/html/2610.06829#S6)）。

2 CLIFT：保形提升校准的轨迹内省过滤

图 2：CLIFT 总览。**训练：**轨迹由对比裁判和自验证器（查询带极性标签的问题库）分别打分。CCC 按 URL 层级认证问题权重，产生带符号的验证器分数，该分数以非对称方式加到裁判奖励上，然后转化为 URL 分层的 token 优势。**测试时扩展：**训练后的智能体发出一条贪心轨迹和若干多样化重试；冻结的认证问题库为每对比较生成逐 URL 证据，保守的重复投票规则决定保留当前最优还是替换。

CLIFT 是一种 GRPO 族策略梯度方法（Shao et al., 2024 (https://arxiv.org/html/2610.06829#bib.bib29)），改变了轨迹被评分和复用的方式。它将自然语言验证问题转化为经保形认证的 URL 感知验证器，利用该验证器在训练时添加非负的逐步证据，并将同一问题库冻结用于测试时的 CTS。因此图 2 (https://arxiv.org/html/2610.06829#S2.F2) 的两半共享同一对象：带有 URL 范围、极性符号和认证信任权重的问题。

2.1 保形验证器

一个验证问题（VQ）是对智能体行为的是/否检查。每个问题 q 有一个 URL 模式 \pi_q 和极性 \sigma_q \in \{-1, 0, +1\}，分别表示进展、失败或不确定。在训练和测试时，智能体的基座模型在任务适配器脱离的情况下回答适用的问题。在 URL 状态 u 处的回答被聚合为：

R_i^{VQ}(u) = \sum_{q \in Q^{\mathrm{cert}}(u)} w^q_{\tau^\star(u)} \cdot \mathbb{1}\big[y_i^q = \mathrm{YES}\big] \in [-1, +1]

其中 Q^{\mathrm{cert}}(u) 包含经认证且在范围内的问题，w^q_{\tau^\star(u)} 是最具体的认证信任权重。正权重表示进展，负权重表示失败，空集时 R_i^{VQ}(u) = 0。

认证。

同一个问题可能在某个应用上可靠，但在另一个应用上无用。因此 CCC 为每个问题和每个 URL 层级 \tau \in \{\text{global}, \text{host}, \text{URL-path}\} 维护一个 Mondrian-ACI 追踪器（Vovk, 2012 (https://arxiv.org/html/2610.06829#bib.bib35)；Gibbs and Candès, 2021 (https://arxiv.org/html/2610.06829#bib.bib12)）。不一致分数是极性感知的：

s_t^{q,\tau} = \mathbb{1}\!\left[\mathrm{pred}_q(y_t^q) \neq z_t\right], \quad z_t = \mathbb{1}\!\left[\hat{R}^{\mathrm{judge}}_t > \theta_j\right]

\mathrm{pred}_q(\mathrm{YES}) = \mathbb{1}[\sigma_q = +1], \quad \mathrm{pred}_q(\mathrm{NO}) = \mathbb{1}[\sigma_q = -1]

正向问题在 YES 与高裁判分一致时视为一致；负向问题在 YES 与低裁判分一致时视为一致。中性问题不参与认证。问题 q 在层级 \tau 上被认证的条件为：

n^q_{t,\tau} \geq n_{\min} \;\wedge\; \alpha^q_{t,\tau} < \alpha^\star \;\wedge\; \big|\mathrm{lift}^q_{t,\tau}\big| > \mathrm{lift}_{\min} \;\wedge\; \sigma_q \neq 0

其中 \mathrm{lift}^q_{t,\tau} 是层级 \tau 上 YES 与 NO 样本之间的平均裁判分差异；n_{\min}、\alpha^\star 和 \mathrm{lift}_{\min} 是在实验设置中报告的校准超参数。经认证的问题获得权重：

w^q_\tau = \sigma_q \cdot \big|\mathrm{lift}^q_{t,\tau}\big| \cdot \max\!\Big(0,\, 1 - \tfrac{\alpha^q_{t,\tau}}{\alpha^\star}\Big) \in [-1, +1]

未认证的层级 w^q_\tau = 0。在 URL u 处，我们查询最具体的认证层级，按 URL-path → host → global 的顺序回退。

问题库增长。

问题库从一组由裁判锚定的 VQ 种子集开始，每个都标注了极性。在训练的定期间隔中，一个 CEGAR 风格的循环（Clarke et al., 2000 (https://arxiv.org/html/2610.06829#bib.bib7)）提出一小批新的、带 URL 范围的问题，用于区分顶部和底部轨迹。新问题以未认证状态进入。一个合理性否决机制在观测到的提升与标注极性矛盾时，将极性降级为中性：

\sigma_q \leftarrow 0 \quad \text{如果} \quad n_q \geq n_{\mathrm{veto}} \;\wedge\; \mathrm{sgn}\!\big(\mathrm{lift}^q\big) \neq \sigma_q^{\mathrm{LLM}} \;\wedge\; \big|\mathrm{lift}^q\big| > \delta

因此同一个提升估计既用于认证问题，也用于检测极性标注错误。

2.2 训练：逐步奖励与 URL 分层优势

对于每个任务，一次对比裁判调用对一个包含 G 条轨迹的 GRPO 组打分，返回轨迹分数 R_i^{\mathrm{judge}} 和逐步分数 r_t^{i,\mathrm{judge}}。同时，自验证器为每条轨迹的每个 URL 状态回答问题库中的问题。训练奖励为：

\tilde{r}^i_t = r^{i,\mathrm{judge}}_t + \beta \cdot \max\!\big(0,\, R^{VQ}_i(u^i_t)\big)

其中 \beta 控制验证器贡献的大小。由于验证器项在零处截断，\tilde{r}^i_t \geq r^{i,\mathrm{judge}}_t：经认证的证据可以增强裁判信号，但不会拉低它。

URL 分层逐 token 优势。

我们将逐步奖励折扣为回报 G^i_t = \sum_{\ell=t}^{T_i-1} \gamma^{\ell-t}\, \tilde{r}^i_\ell（折扣因子 \gamma），然后在每个*（轨迹组，步位置，URL 状态）*单元内进行组归一化：

\widehat{A}^i_t = \frac{G^i_t - \bar{G}_{u^i_t}}{\sigma_{G,u^i_t} + \varepsilon}

优势被广播到工具调用跨度内的所有 token；跨度之外的 token 获得零梯度。GRPO 更新本身不变，但信用分配变为 URL 局部化的。

训练时裁判。

裁判看到的是包含人类可读动作的紧凑轨迹；不透明的浏览器使用对象……