论文页面 - 通过分布级奖励优化视觉生成模型

来源: https://huggingface.co/papers/2607.02291

摘要

一种新颖的用于视觉生成的强化学习框架采用分布级奖励来提升图像多样性和质量，同时解决模式坍缩与计算效率问题。

视觉生成任务中传统的强化学习策略通常使用样本级奖励函数，但这种做法常常导致奖励欺骗，进而损害图像多样性并引入视觉异常。为克服这些局限，我们提出了一种新框架，该框架利用分布级奖励对生成模型进行微调，从而更好地与真实世界数据分布对齐。与逐个评估样本的奖励不同，分布级奖励考虑了样本的数据分布，缓解了当所有样本独立地向同一方向优化时出现的模式坍缩问题。为克服估算这些奖励所带来的高昂计算成本，我们引入了子集替换策略，该策略仅更新生成参考集的一小部分，从而高效地提供奖励信号。此外，我们还应用强化学习以优化事后模型合并系数，这有助于缓解常规强化学习实践中因引入随机微分方程（SDE）而导致的训练-推理不一致问题。大量实验表明，我们的方法显著提升了多种基础模型的FID-50K指标：SiT从8.30降至5.77，EDM2从3.74降至3.52。定性评估也证实，该方法在保持样本多样性的同时提升了感知质量。

查看 arXiv 页面 (https://arxiv.org/abs/2607.02291) · 查看 PDF (https://arxiv.org/pdf/2607.02291) · 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.02291)

在您的智能体中获取本论文：

hf papers read 2607.02291

没有最新CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型0

暂无模型关联本论文

在模型的 README.md 中引用 arxiv.org/abs/2607.02291 即可从本页面链接。

引用本论文的数据集0

暂无数据集关联本论文

在数据集的 README.md 中引用 arxiv.org/abs/2607.02291 即可从本页面链接。

引用本论文的 Spaces0

暂无 Space 关联本论文

在 Space 的 README.md 中引用 arxiv.org/abs/2607.02291 即可从本页面链接。

包含本论文的收藏集0

暂无收藏集包含本论文

将本论文添加到一个收藏集中即可从本页面链接。