论文页面 - 先排序再行动：基于帧序进展的无奖励控制

来源：https://huggingface.co/papers/2607.01897

摘要

Rank-Then-Act 框架利用视频示范通过视觉-语言模型作为序数评分器，结合基于相关性的奖励来学习控制策略，无需环境奖励即可实现稳定的跨任务迁移。

我们提出了 Rank-Then-Act (RTA)，一个无需环境奖励即可从专家视频示范中学习控制策略的框架。RTA 离线训练一个视觉-语言模型 (VLM) 作为基于进展的序数评分器，采用基于打乱帧序列的 Group Relative Policy Optimization (GRPO) 目标，迫使模型从视觉语义中恢复时间顺序，而非依赖琐碎的时间线索。重要的是，我们不直接将该评分器用作标量奖励模型，而是提出一种基于相关性的奖励函数用于强化学习：在每个交互窗口内，我们计算预测的进展排序与真实时间索引之间的斯皮尔曼等级相关系数，从而得到一个有界、尺度不变的训练信号。这种设计将奖励学习与绝对标定解耦，并能够实现跨任务和环境的稳定迁移。我们在离散控制基准（PyBoy: Catrap, Kirby）和连续控制任务（PointMaze, MetaWorld）上评估了 RTA。RTA 在性能上始终匹配或超越先前的基于视频的奖励学习方法以及基于排序的基线，同时展示了单个预训练进展评分器在跨任务复用上的强大能力。我们的结果表明，基于视频衍生序数信号的相关性结构化监督足以支持策略学习，为显式的奖励设计提供了一种可扩展的替代方案。

查看 arXiv 页面 (https://arxiv.org/abs/2607.01897) 查看 PDF (https://arxiv.org/pdf/2607.01897) 项目页面 (https://corl-team.github.io/rank-then-act/) GitHub (https://github.com/corl-team/rank-then-act) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.01897)

在你的 agent 中获取这篇论文：

hf papers read 2607.01897

没有最新 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型 0

尚无模型关联此论文

请将 arxiv.org/abs/2607.01897 引用到模型 README.md 中以从本页链接。

引用该论文的数据集 0

尚无数据集关联此论文

请将 arxiv.org/abs/2607.01897 引用到数据集 README.md 中以从本页链接。

引用该论文的 Spaces 0

尚无 Space 关联此论文

请将 arxiv.org/abs/2607.01897 引用到 Space README.md 中以从本页链接。

收录该论文的收藏集 0

尚无收藏集包含此论文

请将此论文添加到收藏集 (https://huggingface.co/new-collection) 中以从本页链接。