CLIFT：面向Web Agent训练与测试时扩展的共形自验证

Hugging Face Daily Papers 论文
web-agents conformal-prediction reinforcement-learning test-time-scaling self-verification llm-judges

摘要

CLIFT 利用共形自验证(conformal self-verification)将稀疏的judge反馈转化为可复用的训练奖励与无需外部judge的测试时轨迹选择，在WebArena Infinity、VisualWebArena和Online Mind2Web上取得了开源web agent的最优表现。

开源 web agent 现在已经足够强大，能够执行贴近真实的浏览器任务，但用强化学习训练它们仍然依赖于较弱的监督信号：二元的任务成功信号过于稀疏，难以进行信用分配；而前沿语言模型 judge 的调用成本过高，既无法在每一步都调用，也无法保证在部署时可用。我们提出 CLIFT——一种围绕共形自验证构建的训练与测试时扩展方法。在训练过程中，agent 针对自己的 rollout 回答以自然语言表述的验证问题；一个组合式共形认证器（Compositional Conformal Certifier）只保留那些 URL 条件下证据与训练期 judge 一致的问题信号，通过极性感知提升（polarity-aware lift）赋予带符号的信任权重，并将由此得到的验证器分数以不会低于 judge 基线的方式融合进每一步的奖励中。在测试时，同一个已认证的问题库被冻结并作为结构化证据复用于共形轨迹选择（Conformal Trajectory Selection, CTS）：agent 采样一条贪心 rollout 以及一次或多次多样的重试，自验证器对每条 URL 轨迹进行归纳，随后由一个保守的多数投票规则决定是否替换掉当前的最优解，全程无需调用任何外部 judge。这一单一机制支持三种场景。在 WebArena Infinity 上，CLIFT 在开源 web agent 中取得了最优性能。在 VisualWebArena 上，用开源模型训练得到的问题库可以直接迁移到测试时的 GPT-5.5，并在标准评测框架下取得最优性能。在 Online Mind2Web 上，无需在该基准上训练 agent，仅对已认证的问题库进行翻译，就能提升一个真实联网 web agent 的零样本评测表现。这些结果共同表明，共形自验证是一种有效途径，能够将昂贵的 judge 反馈转化为可复用的训练信号，以及无需 judge 的测试时扩展信号。
查看原文
查看缓存全文

缓存时间: 2026/10/16 07:05

论文页面 - CLIFT：用于 Web Agent 训练与测试时扩展的保形自验证

来源: https://huggingface.co/papers/2610.06829

摘要

CLIFT 采用保形自验证（conformal self-verification）将稀疏的裁判反馈转化为可复用的训练奖励以及无需裁判的测试时轨迹选择，用于开源 web agent。

开源 web agent 目前已足够强大，能够执行真实浏览器任务，但使用强化学习对其进行训练仍然依赖于较弱的监督信号：二值的任务成功判定对于信用分配来说过于稀疏，而前沿语言模型裁判在每一步都调用成本过高，且无法假定在部署时可用。我们提出 CLIFT——一种围绕保形自验证构建的训练与测试时扩展方法。在训练过程中，agent 会针对自身轨迹回答自然语言验证问题；组合保形认证器仅保留其 URL 条件证据与训练时裁判一致的问题信号，通过极性感知提升赋予有符号的信任权重，并以一种绝不会从裁判基线中扣分的方式将验证器得分融入逐步奖励中。在测试时，同一认证库被冻结并作为结构化证据复用于保形轨迹选择（CTS）：agent 采样一次贪心轨迹和一次或多次多样化重试，自验证器对每条 URL 轨迹进行摘要，然后采用保守的多数投票规则决定是否替换当前最优轨迹，全程无需调用任何外部裁判。这一机制同时支持三种设定。在 WebArena Infinity 上，CLIFT 在开源 web agent 中取得了最先进的性能。在 VisualWebArena 上，用开源模型训练得到的认证库可以在测试时迁移到 GPT-5.5，并在标准评测框架下达到最先进水平。在 Online Mind2Web 上，无需在该基准上训练任何 agent，仅通过迁移经过认证的问题库即可提升实时 web agent 的零样本评估表现。这些结果共同表明，保形自验证是一种将昂贵的裁判反馈转化为可复用训练信号和无裁判测试时扩展信号的有效途径。

查看 arXiv 页面 查看 PDF 项目页面 添加到合集

在你的 agent 中获取此论文：

hf papers read 2610.06829

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.06829，即可从此页面链接到该论文。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.06829，即可从此页面链接到该论文。

引用此论文的 Space 1

包含此论文的合集 0

暂无合集包含此论文

将此论文添加到合集即可从此页面链接到该论文。

相似文章