论文页面 - 你的数据中本就蕴藏着奖励：通过判别器引导的强化学习校正流匹配

来源：https://huggingface.co/papers/2606.19162

摘要

判别器引导的强化学习（DRL）通过利用预训练表示空间中的判别器作为最优奖励信号，解决了评分模型和流匹配模型中的对齐问题，在不依赖人类偏好情况下同时提升了视觉保真度和语义质量。

评分模型和流匹配模型（https://huggingface.co/papers?q=flow-matching%20models）通常依赖基于偏好的强化学习（https://huggingface.co/papers?q=preference-based%20reinforcement%20learning）实现两个目标：与主观偏好对齐，以及（令人惊讶地）恢复匹配训练本应从数据自身习得的属性，如视觉真实感（https://huggingface.co/papers?q=visual%20realism）和连贯的物体结构（https://huggingface.co/papers?q=coherent%20object%20structure）。我们认为这反映了结构上的不匹配。匹配损失（https://huggingface.co/papers?q=Matching%20losses）在训练时的边缘分布下测量速度场或评分场（https://huggingface.co/papers?q=score%20field）的ell_2回归误差，这种代理信号与决定推理时样本质量的视觉和语义属性难以对齐。若存在与这些属性对齐的奖励，强化学习便可通过让模型在其自身生成样本上进行评估并直接遵循奖励景观来规避上述不匹配。问题在于如何在不依赖人类偏好（成本高昂且将数据真实性与标注者倾向混为一谈）的情况下获得此类奖励。我们提出判别器引导的强化学习（DRL）（https://huggingface.co/papers?q=Discriminator-Guided%20RL）。DRL训练一个判别器，在预训练表示空间（https://huggingface.co/papers?q=pretrained%20representation%20space）中区分数据和基础模型样本，并将其对数几率作为KL正则化强化学习的奖励。预训练空间将判别器限制在感知有意义的维度上，而对数几率则估计数据与模型之间的对数似然比（https://huggingface.co/papers?q=log-likelihood%20ratio），这是以数据分布为目标的最优奖励。在SiT、JiT、REPA和RAE上，DRL降低了无指导FID（https://huggingface.co/papers?q=FID）（例如，SiT上从9.38降至2.62）和语义空间FD（https://huggingface.co/papers?q=semantic-space%20FD）（例如，SiT在DINOv3（https://huggingface.co/papers?q=DINOv3）上从88.2降至19.3），并在所有骨干网络上取得一致提升，同时在不经训练的情况下改善了人类偏好奖励。它还在后续基于偏好的后训练中产生了更优的偏好奖励与图像FID（https://huggingface.co/papers?q=fid）之间的帕累托前沿（https://huggingface.co/papers?q=Pareto%20frontier），在提升对齐度的同时减少了过饱和、过亮等低层次伪影。

查看arXiv页面（https://arxiv.org/abs/2606.19162）查看PDF（https://arxiv.org/pdf/2606.19162）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.19162）

引用本文的模型 0

尚无模型链接此论文

请在模型README.md中引用arxiv.org/abs/2606.19162以从此页面建立链接。

引用本文的数据集 0

尚无数据集链接此论文

请在数据集README.md中引用arxiv.org/abs/2606.19162以从此页面建立链接。

引用本文的 Spaces 0

尚无 Space 链接此论文

请在 Space README.md 中引用arxiv.org/abs/2606.19162以从此页面建立链接。

包含本文的集合 0

尚无包含此论文的集合

将此论文添加到集合（https://huggingface.co/new-collection）中以从此页面建立链接。