论文页面 — 通过奖励倾斜分布匹配增强少步生成器

来源：https://huggingface.co/papers/2605.26108

摘要

RTDMD 是一个两阶段框架，将分布匹配蒸馏与奖励引导的强化学习相结合，以改进少步图像生成与人类偏好的对齐。

近年来，少步扩散蒸馏（https://huggingface.co/papers?q=diffusion%20distillation）的进展实现了高效的图像生成，但将这些模型与人类偏好对齐仍然具有挑战性。我们提出奖励倾斜分布匹配蒸馏（Reward-Tilted Distribution Matching Distillation，RTDMD）（https://huggingface.co/papers?q=Distribution%20Matching%20Distillation），这是一个两阶段框架，将分布匹配蒸馏（https://huggingface.co/papers?q=distribution%20matching%20distillation）与奖励引导的强化学习（https://huggingface.co/papers?q=reward-guided%20reinforcement%20learning）统一起来，用于少步流生成器。我们证明了，最小化到奖励倾斜教师分布的 KL 散度（https://huggingface.co/papers?q=KL%20divergence）自然分解为一个分布匹配项和一个奖励最大化项。在第一阶段，我们引入了环境一致分布匹配蒸馏（Ambient-Consistent Distribution Matching Distillation，AC-DMD）（https://huggingface.co/papers?q=Distribution%20Matching%20Distillation），它在子区间上进行分布匹配，并通过一个一致性正则化项（https://huggingface.co/papers?q=consistency%20regularizer）增强假分数目标（https://huggingface.co/papers?q=fake%20score%20objective），帮助假分数模型在有限更新下跟踪变化的生成器分布。在第二阶段，我们联合优化两项：对于奖励最大化项，我们推导出一个混合策略梯度（https://huggingface.co/papers?q=policy%20gradient），它结合了一个 GRPO（https://huggingface.co/papers?q=GRPO）风格的随机中间转移估计器与通过确定性最后步骤的直接奖励反向传播，并进一步引入步骤子集 GRPO（SubGRPO）（https://huggingface.co/papers?q=SubGRPO）以降低方差。在 SD3、SD3.5 和 FLUX.2 上的实验表明，RTDMD 仅用 4 步推理就在偏好、美学和组合性指标上建立了新的最先进结果，超越了先前的少步文本到图像生成方法。代码和模型可在 https://github.com/Harahan/RTDMD 获取。

查看 arXiv 页面（https://arxiv.org/abs/2605.26108） 查看 PDF（https://arxiv.org/pdf/2605.26108） GitHub3（https://github.com/Harahan/RTDMD） 添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.26108）

在您的代理中获取此论文：

hf papers read 2605.26108

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 2

Harahan/FLUX2-4B-RTDMD 文本到图像 • 更新于 39 分钟前（https://huggingface.co/Harahan/FLUX2-4B-RTDMD）

Harahan/SD35M-RTDMD 文本到图像 • 更新于 39 分钟前（https://huggingface.co/Harahan/SD35M-RTDMD）

引用此论文的数据集 0

没有数据集与此论文关联

在数据集的 README.md 中引用 arxiv.org/abs/2605.26108 以从该页面链接。

引用此论文的 Space 0

没有 Space 与此论文关联

在 Space 的 README.md 中引用 arxiv.org/abs/2605.26108 以从该页面链接。

包含此论文的收藏 1