MeanFlowNFT: 将前向过程强化学习引入平均速度生成器

Hugging Face Daily Papers 论文
reinforcement-learning flow-models image-generation video-generation alignment few-step-sampling

摘要

MeanFlowNFT为平均速度生成器引入了一种前向过程强化学习方法，能够在保持快速少步采样的同时，高效地与人类偏好对齐。实验表明，它在大多数指标上优于先前经过强化学习调优的少步生成器，甚至超越了多步调优的扩散模型。

MeanFlow生成器通过预测时间区间上的平均速度来实现快速少步采样，因而在高效生成方面颇具吸引力。强化学习已成为将扩散模型和流模型与人类偏好及任务特定目标对齐的强大工具。特别是，DiffusionNFT提供了一种高效的前向过程强化学习框架，无需反向过程轨迹或似然估计。然而，将此类强化学习方法应用于MeanFlow仍鲜有探索。DiffusionNFT优化的是瞬时速度，而MeanFlow使用平均速度进行采样。为弥合这一差距，我们提出了MeanFlowNFT。受连接平均速度与瞬时速度的MeanFlow恒等式的启发，我们构建了一个诱导的瞬时速度预测器。我们将DiffusionNFT的目标函数应用于该预测器，使得MeanFlow的奖励优化有了明确定义。采样仍基于平均速度，从而保留了MeanFlow快速少步生成的特点。我们进一步证明，MeanFlowNFT继承了DiffusionNFT严格的策略改进保证。在图像和视频生成上的实验表明，MeanFlowNFT持续改进了基线。此外，它在大多数指标上优于先前最先进的强化学习调优的少步生成器（在SD3.5-M上的8个指标中有6个胜出），并且仅用少量采样步骤就能超越多步调优的扩散模型。例如，在Wan 2.1上，4步MeanFlowNFT达到了84.33的VBench分数，超过了50步的LongCat-Video RL（82.57）。
查看原文
查看缓存全文

缓存时间: 2026/07/20 09:43

论文页面 - MeanFlowNFT：将前向过程强化学习引入平均速度生成器

Source: https://huggingface.co/papers/2607.15273

摘要

MeanFlow生成器通过预测时间区间上的平均速度实现快速少步采样，使其成为高效生成的有吸引力的方法。强化学习（RL）已成为将扩散模型和流模型与人类偏好及任务特定目标对齐的强大方法。特别是，DiffusionNFT提供了一种高效的前向过程RL框架，无需反向过程轨迹或似然估计。然而，将此类RL方法应用于MeanFlow仍待探索。DiffusionNFT优化瞬时速度，而MeanFlow使用平均速度进行采样。为弥合这一差距，我们引入了MeanFlowNFT。受MeanFlow恒等式（连接平均速度和瞬时速度）的启发，我们构建了一个诱导的瞬时速度预测器。我们将DiffusionNFT目标应用于该预测器，使得MeanFlow的奖励优化得到良好定义。采样仍基于平均速度，保留了MeanFlow的快速少步生成能力。我们进一步证明，MeanFlowNFT继承了DiffusionNFT的严格策略改进保证。在图像和视频生成上的实验表明，MeanFlowNFT始终优于基线。此外，它在大多数指标上（SD3.5-M上8项中的6项）超越了先前最先进的RL调优的少步生成器，甚至在使用仅几个采样步数的情况下能超越多步RL调优扩散模型。例如，在Wan2.1上，4步MeanFlowNFT达到84.33的VBench分数，超过了50步LongCat-Video RL（82.57）。

View arXiv page (https://arxiv.org/abs/2607.15273)View PDF (https://arxiv.org/pdf/2607.15273)项目页面 (https://harahan.github.io/meanflownft-project-page/)GitHub45 (https://github.com/Harahan/MeanFlowNFT)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.15273)

在你的代理中获取此论文：

hf papers read 2607\.15273

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型1

Harahan/MeanFlowNFT 文本到图像•更新于2天前 (https://huggingface.co/Harahan/MeanFlowNFT)

引用此论文的数据集0

没有关联此论文的数据集

在数据集的README.md中引用arxiv.org/abs/2607.15273以从本页链接。

引用此论文的Space1

包含此论文的收藏2

相似文章

连续对抗性MeanFlow迁移

arXiv cs.LG

本文提出MeanFlow-Transfer（MF-T）和连续对抗性MeanFlow（CAMF），以统一预训练扩散和流动模型的适配和加速，实现数据有限新领域的高质量少步生成。

Flow-Map GRPO：基于锚定随机组合的少步流图生成器强化学习

arXiv cs.LG

提出了Flow-Map GRPO，一种用于确定性少步流图生成器的在线RL后训练框架，引入了锚定随机流图组合（ASFMC）以在不改变原始模型参数化的情况下实现随机优化。在基于FLUX的MeanFlow和sCM上的实验表明，在基于奖励的、感知的和任务级别的指标上均有改进。

基于价值梯度流的强化学习

Hugging Face Daily Papers

价值梯度流（VGF）提出了一种可扩展的行为正则化强化学习方法，将其构建为通过离散梯度流求解的最优传输问题，在离线强化学习和大型语言模型强化学习基准测试中取得了最先进的成果。该方法消除了显式的策略参数化，同时通过控制传输预算实现了自适应的测试时缩放。

DiffusionART：高效、稳定且可扩展的扩散模型强化学习

arXiv cs.LG

DiffusionART 提出一种聚合优先奖励倾斜（Aggregation-First Reward Tilting）的在线强化学习微调方法，通过消除前向-后向一致性力和引入信任域掩码更新，在无需 EMA 调参的情况下稳定高效地微调扩散模型，在 HunyuanVideo-13B 上以约 12 倍更少 GPU 时达到并超越 DiffusionNFT 与 Flow-GRPO-Fast 的效果。