在线扩散强化学习中的路由策略优化

Hugging Face Daily Papers 论文
reinforcement-learning diffusion-models attention-routing text-to-image text-to-video reward-alignment

摘要

提出 Routing Policy Optimization（RPO），在扩散生成器内部通过随机注意力路由引入探索，以对齐奖励信号，同时保留原始确定性采样器，并在文本到图像/视频生成上实现相比 Flow-GRPO 方法近 4 倍的训练效率提升。

强化学习能够使视觉生成器与超越其预训练目标的奖励信号对齐，但现有的基于评分函数的方法通常通过扰动反向去噪轨迹来引入随机性，从而导致代价高昂的基于 rollout 的优化。我们转而思考：能否在保留生成器原始采样器的同时，在其内部引入随机探索？路由策略优化（Routing Policy Optimization，RPO）通过将注意力路由转化为随机探索动作来回答这一问题。在少数选定的去噪层级上，每个查询块保留自身的块，并按照生成器原生注意力权重的比例采样更多的键块，或保留稠密注意力。采样得到的路由会扰动该步骤的速度场（velocity），而围绕稠密速度的高斯似然则以评分函数目标对该扰动进行评估。RPO 进一步采用受控的双 rollout 估计器：两次 rollout 共享相同的提示、初始隐变量、路由的去噪层级以及稠密锚定层，唯一不同在于它们采样得到的注意力路由。两者奖励之差为路由步骤提供了优势信号。由于似然对稠密速度本身进行求导，因此即使移除路由，所学习到的更新仍然有效。在推理阶段，RPO 恢复稠密注意力并保留原始的确定性采样器。在文本到图像和文本到视频生成上的实验表明，RPO 在提升生成质量的同时，实现了相比 Flow-GRPO 类方法近 4 倍的训练效率。更多可视化结果请见我们的项目主页：https://velox-world.com/rpo。
查看原文
查看缓存全文

缓存时间: 2026/10/16 07:05

论文页面 - 面向在线扩散强化学习的路由策略优化

来源：https://huggingface.co/papers/2610.22282 作者：

,

,

,

,

,

,

,

,

,

,

摘要

路由策略优化（Routing Policy Optimization）在扩散生成器内部引入随机注意力路由，使其与奖励信号对齐，同时保留原始确定性采样器并提升训练效率。

强化学习（https://huggingface.co/papers?q=Reinforcement%20learning）可以将视觉生成器与超越其预训练目标的奖励信号对齐，但现有的评分函数方法（https://huggingface.co/papers?q=score-function%20methods）通常通过扰动反向去噪轨迹（https://huggingface.co/papers?q=reverse%20denoising%20trajectory）来引入随机性，从而导致代价高昂的基于 rollout 的优化。我们转而提出一个问题：能否在生成器内部引入随机探索（https://huggingface.co/papers?q=stochastic%20exploration），同时保留其原始采样器？路由策略优化（https://huggingface.co/papers?q=Routing%20Policy%20Optimization)（RPO）通过将注意力路由（https://huggingface.co/papers?q=attention%20routing）转化为随机探索动作来回答这一问题。在少数选定的去噪层级（https://huggingface.co/papers?q=denoising%20levels）上，每个 query 块（https://huggingface.co/papers?q=query%20block）保留自身的块，并按生成器原生注意力权重（https://huggingface.co/papers?q=attention%20mass）的比例采样额外的 key 块（https://huggingface.co/papers?q=key%20blocks），或者保留稠密注意力（https://huggingface.co/papers?q=dense%20attention）。采样得到的路由会扰动该转移的 velocity（https://huggingface.co/papers?q=velocity），然后围绕稠密 velocity（https://huggingface.co/papers?q=dense%20velocity）构造高斯似然（https://huggingface.co/papers?q=Gaussian%20likelihood），以评分函数目标（https://huggingface.co/papers?q=score-function%20objective）对该扰动进行评分。RPO 进一步使用受控的双 rollout 估计器（two-rollout estimator，https://huggingface.co/papers?q=two-rollout%20estimator）：两次 rollout 共享相同的提示词、初始 latent、路由的去噪层级以及稠密锚定层，仅在采样的注意力路由上有所不同。它们的奖励差为路由转移提供优势信号（advantage signal，https://huggingface.co/papers?q=advantage%20signal）。由于似然对稠密 velocity 本身进行求导，即使移除路由，学习到的更新依然有效。在推理阶段，RPO 恢复稠密注意力并保留原始确定性采样器。在文本到图像（https://huggingface.co/papers?q=text-to-image）和文本到视频（https://huggingface.co/papers?q=text-to-video）生成上的实验表明，RPO 在提升生成质量的同时，训练效率比 Flow-GRPO 类方法高出近 4 倍。请访问我们的项目页面 https://velox-world.com/rpo 查看可视化结果。

查看 arXiv 页面（https://arxiv.org/abs/2610.22282）查看 PDF（https://arxiv.org/pdf/2610.22282）项目页面（https://velox-world.com/rpo/）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2610.22282）

在你的 agent 中获取本文：

hf papers read 2610.22282

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

暂无模型关联本文

在模型 README.md 中引用 arxiv.org/abs/2610.22282 即可从此页面链接。

引用本文的数据集 0

暂无数据集关联本文

在数据集 README.md 中引用 arxiv.org/abs/2610.22282 即可从此页面链接。

引用本文的 Spaces 1

包含本文的合集 1

相似文章

ReAPO：面向大语言模型推理中高效探索的重试感知策略优化

arXiv cs.LG

ReAPO 提出一种基于随机最短路径视角的重试感知策略优化方法，对 GRPO 进行改进，将额外生成分配给失败轨迹以实现更有原则的信用分配，在 Qwen3 和 OLMo-2 系列模型的数学与科学推理基准上显著提升首次尝试性能并减少生成 token 数。

自适应奖励路由：通过前向过程强化学习实现联合音频-视频扩散的动态多奖励优化

Hugging Face Daily Papers

提出自适应奖励路由（Adaptive Reward Routing），在联合音频-视频扩散模型的前向过程强化学习（DiffusionNFT）中动态调整更新位置与奖励权重：利用双向跨注意力响应定位跨模态影响，并以偏好先验加残差修正的方式协调多个竞争奖励，从而提升模态质量、语义一致性与音视频同步。

DiffusionART：高效、稳定且可扩展的扩散模型强化学习

arXiv cs.LG

DiffusionART 提出一种聚合优先奖励倾斜（Aggregation-First Reward Tilting）的在线强化学习微调方法，通过消除前向-后向一致性力和引入信任域掩码更新，在无需 EMA 调参的情况下稳定高效地微调扩散模型，在 HunyuanVideo-13B 上以约 12 倍更少 GPU 时达到并超越 DiffusionNFT 与 Flow-GRPO-Fast 的效果。