Paper page - Flow-DPPO: 面向流匹配模型的散度近端策略优化

来源：https://huggingface.co/papers/2606.11025

摘要

Flow-DPPO 将流匹配模型中的比率裁剪替换为散度近端约束，通过精确的 KL 散度计算提升了训练稳定性和多目标优化。

近期研究表明，在线强化学习（https://huggingface.co/papers?q=online%20reinforcement%20learning）能够显著提升用于图像和视频生成的流匹配模型（https://huggingface.co/papers?q=flow%20matching%20models）的质量和对齐效果。Flow-GRPO 和 CPS 等方法将去噪过程（https://huggingface.co/papers?q=denoising%20process）建模为马尔可夫决策过程（https://huggingface.co/papers?q=Markov%20Decision%20Process），并采用 PPO 风格的比率裁剪（https://huggingface.co/papers?q=PPO-style%20ratio%20clipping）来强制维持信任区域（https://huggingface.co/papers?q=trust%20region）。然而，我们认为比率裁剪在结构上并不适合流模型：新旧策略之间的概率比只是真实策略散度（https://huggingface.co/papers?q=policy%20divergence）的一个含噪单样本估计，这会导致轨迹的某些区域过度约束而另一些区域约束不足。我们提出 Flow-DPPO（流散度近端策略优化），用散度近端约束替代比率裁剪。一个关键发现是，流模型中的逐步骤策略服从高斯分布，因此可以精确且低代价地计算新旧策略之间的 KL 散度（https://huggingface.co/papers?q=KL%20divergence）。Flow-DPPO 采用非对称散度掩码（https://huggingface.co/papers?q=asymmetric%20divergence%20mask），仅在梯度更新同时远离信任区域并违反散度阈值时阻止更新。实验表明，Flow-DPPO 在实现更高奖励的同时具有更好的 KL 近端效率，减轻了灾难性遗忘（https://huggingface.co/papers?q=catastrophic%20forgetting），促进了平衡的多目标优化（https://huggingface.co/papers?q=multi-objective%20optimization），并支持稳定的多轮训练（https://huggingface.co/papers?q=multi-epoch%20training），而比率裁剪在此场景下性能下降。代码和模型已在 https://github.com/Tencent-Hunyuan/UniRL/tree/main/FlowDPPO 公开。

查看 arXiv 页面（https://arxiv.org/abs/2606.11025）查看 PDF（https://arxiv.org/pdf/2606.11025）项目页面（https://jayce-ping.github.io/Flow-DPPO-Project-Page/）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.11025）

在您的 Agent 中获取本文：

hf papers read 2606.11025

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

暂无模型关联本文

请在模型 README.md 中引用 arxiv.org/abs/2606.11025 以在此页面建立关联。

引用本文的数据集 0

暂无数据集关联本文

请在数据集 README.md 中引用 arxiv.org/abs/2606.11025 以在此页面建立关联。

引用本文的 Space 0

暂无 Space 关联本文

请在 Space README.md 中引用 arxiv.org/abs/2606.11025 以在此页面建立关联。

包含本文的收藏集 0

暂无收藏集包含本文

请将本文添加到收藏集（https://huggingface.co/new-collection）以在此页面建立关联。