论文页面 - 先思考，再打分：视频奖励建模中的解耦推理与评分

来源：https://huggingface.co/papers/2605.05922 作者：

，

，

，

，

，

，

，

，

，

摘要

视频奖励模型在平衡判别精度与生成式推理方面面临挑战；一种新方法将思考与评分过程解耦，以提高训练效率和泛化能力。

生成式视频模型的最新进展越来越多地由后训练和测试时缩放（test-time scaling）驱动，这两者都严重依赖于视频奖励模型（Reward Models, RMs）的质量。一个理想的奖励模型应在各种场景下预测与人类偏好一致的高质量奖励。然而，现有范式面临一个根本性困境：判别式奖励模型直接从多模态大语言模型（MLLMs）提取的特征上回归奖励值，缺乏显式的推理过程，这使其容易产生捷径学习（shortcut learning），并严重依赖大规模数据缩放来实现泛化。相比之下，采用思维链（Chain-of-Thought, CoT）推理的生成式奖励模型展现出更优的可解释性和泛化潜力，因为它们利用细粒度的语义监督来内化人类偏好背后的逻辑。然而，由于推理和评分被耦合在单一的自回归推理链中，它们存在固有的优化瓶颈。为了利用 CoT 推理带来的泛化优势，同时缓解耦合推理与评分导致的训练不稳定性，我们引入了 DeScore，这是一种训练高效且具备良好泛化能力的视频奖励模型。DeScore 采用了一种解耦的“先思考，再打分”范式：首先由 MLLM 生成显式的思维链，随后由一个专门的判别式评分模块进行打分，该模块由一个可学习的查询令牌（learnable query token）和一个回归头（regression head）组成，用于预测最终奖励。DeScore 通过一个两阶段框架进行优化：(1) 一个结合随机掩码机制（random mask mechanism）的判别式冷启动阶段，以确保稳健的评分能力；(2) 一个双目标强化学习（dual-objective reinforcement learning）阶段，该阶段独立地优化 CoT 推理质量并校准最终奖励，确保更高质量的推理直接转化为更优越的模型性能。

查看 arXiv 页面 (https://arxiv.org/abs/2605.05922) 查看 PDF (https://arxiv.org/pdf/2605.05922) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2605.05922)

在你的代理中获取这篇论文：

hf papers read 2605\.05922

还没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有链接到该论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2605.05922 即可从此页面链接它。

引用此论文的数据集 0

没有链接到该论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2605.05922 即可从此页面链接它。

引用此论文的 Spaces 0

没有链接到该论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2605.05922 即可从此页面链接它。

包含此论文的收藏集 0

没有包含该论文的收藏集

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面链接它。