RAVEN: 实时自回归视频外推与一致性模型GRPO

Hugging Face Daily Papers 论文

摘要

RAVEN 提出了一种实时自回归视频外推框架,结合了 CM-GRPO(一种用于一致性模型采样的新型强化学习方法),提升了长时程生成质量。

因果自回归视频扩散模型通过从先前生成的内容中外推未来块,支持实时流式生成。从高保真双向教师模型中蒸馏此类生成器可得到有竞争力的少步模型,然而训练过程中遇到的历史分布与推理时出现的历史分布之间存在持续差距,限制了长时程的生成质量。我们提出了实时自回归视频外推网络(RAVEN),这是一个训练时测试框架,它将每个自回合重新打包成交错序列,包含干净的歷史终点和带噪声的去噪状态。这种表述将训练注意力与推理时外推对齐,并允许下游块损失监督未来预测所依赖的历史表示。我们还提出了一致性模型组相对策略优化(CM-GRPO),它将一致性采样步骤重新表述为条件高斯转移,并直接对此核应用在线强化学习(RL),避免了先前流模型RL公式中采用的Euler-Maruyama辅助过程。实验表明,RAVEN在质量、语义和动态程度评估上超越了最近的因果视频蒸馏基线,且CM-GRPO与RAVEN结合时能带来进一步的提升。
查看原文
查看缓存全文

缓存时间: 2026/05/15 04:24

论文页面 - RAVEN: 基于一致性模型GRPO的实时自回归视频外推

来源:https://huggingface.co/papers/2605.15190

摘要

RAVEN通过改进训练对齐的因果自回归外推实现了实时视频生成,而CM-GRPO则利用应用于一致性模型采样的强化学习来进一步提升性能。

因果自回归视频扩散模型 (https://huggingface.co/papers?q=Causal%20autoregressive%20video%20diffusion%20models) 支持实时流式生成 (https://huggingface.co/papers?q=real-time%20streaming%20generation),通过从已生成内容中外推未来片段。从高保真双向教师模型中蒸馏此类生成器可得到较优的少步模型,但训练时遇到的历史分布与推理时出现的历史分布之间存在持续差距,限制了长时生成的生成质量。我们引入了实时自回归视频外推 (https://huggingface.co/papers?q=Video%20Extrapolation) 网络 (RAVEN),这是一种训练时测试框架,将每次自推断重新打包成交错序列 (https://huggingface.co/papers?q=interleaved%20sequence),其中包含干净的历史端点和带噪的去噪状态 (https://huggingface.co/papers?q=denoising%20states)。这种表述使训练注意力与推理时外推对齐,并允许下游片段损失 (https://huggingface.co/papers?q=chunk%20losses) 监督未来预测所依赖的历史表示。我们进一步提出了一致性模型组相对策略优化 (https://huggingface.co/papers?q=Policy%20Optimization) (CM-GRPO),它将一致性采样步骤重新表述为条件高斯转移 (https://huggingface.co/papers?q=Gaussian%20transition),并直接在此核上应用在线强化学习 (https://huggingface.co/papers?q=Reinforcement%20Learning) (RL),避免了先前流模型RL公式中采用的欧拉-丸山辅助过程 (https://huggingface.co/papers?q=Euler-Maruyama%20auxiliary%20process)。实验表明,RAVEN在质量、语义和动态程度评估上超越了最新的因果视频蒸馏 (https://huggingface.co/papers?q=distillation) 基线,且与RAVEN结合时CM-GRPO提供了进一步的增益。

查看arXiv页面 (https://arxiv.org/abs/2605.15190)查看PDF (https://arxiv.org/pdf/2605.15190)项目页面 (https://yanzuo.lu/raven/)GitHub3 (https://github.com/mvp-ai-lab/RAVEN)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.15190)

在您的智能体中获取此论文:

hf papers read 2605\.15190

没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用该论文的模型1

mvp-lab/RAVEN 文本到视频• 约3小时前更新 (https://huggingface.co/mvp-lab/RAVEN)

引用该论文的数据集0

没有数据集链接此论文

请在数据集的 README.md 中引用 arxiv.org/abs/2605.15190 来从此页面链接该数据集。

引用该论文的Space0

没有Space链接此论文

请在Space的 README.md 中引用 arxiv.org/abs/2605.15190 来从此页面链接该Space。

包含该论文的收藏集1

相似文章