论文页面 - RankE：面向离散文本到图像生成的端到端后训练与解码器协同进化

来源：https://huggingface.co/papers/2605.21195 **项目页面：**https://syjmelody.github.io/RankE/ **GitHub：**https://github.com/syjmelody/RankE

https://huggingface.co/papers/2605.21195#%E2%9A%A1-tldr⚡ 一句话总结

RankE 是首个面向离散文本到图像生成的端到端后训练框架，它联合优化生成器 (Generator) 和解码器 (Decoder)。与那种以牺牲图像质量为代价来提升奖励分数的做法不同，RankE 能同时提升对齐度 (alignment) 和保真度 (fidelity)。

https://huggingface.co/papers/2605.21195#%F0%9F%A4%94-背景-问题是什么🤔 背景：问题是什么？

大多数离散文本到图像模型仍然遵循两阶段流程：

1. 训练一个 VQ-VAE/分词器 (tokenizer)，将图像映射为离散视觉 token；
2. 训练一个自回归生成器 (Generator) 来对这些 token 进行建模。

这个流程在预训练阶段效果不错，但后训练阶段往往不完整：现有方法只优化生成器，而保持解码器固定不变。

这就造成了不匹配。随着生成器为了追求更高奖励而优化，其输出的 token 分布逐渐偏离解码器在分词器训练阶段所见到的真实 token 分布。结果就出现了一个令人沮丧的权衡：

• 奖励分数提高了，
• 但解码出的图像质量可能变差。

论文将此问题定义为潜在协变量偏移 (Latent Covariate Shift)。

https://huggingface.co/papers/2605.21195#%F0%9F%94%8D-为什么现有解决方案不够用🔍 为什么现有解决方案不够用

最近的工作，如 REPA-E，已经表明在连续扩散模型中，自编码器不仅仅是一个辅助模块——它可能是对齐度和视觉质量的真正瓶颈。

但离散文本到图像生成更困难。由于 token 采样和向量量化是离散操作，梯度无法干净地流过整个生成过程。这就是为什么大多数现有的用于离散生成的 RL 或偏好优化方法仍然只更新生成器，而保持解码器不变的原因。

因此，业界已经知道解码器很重要——但一直缺乏一个面向离散生成的实用端到端解决方案。

https://huggingface.co/papers/2605.21195#%F0%9F%9A%80-ranke-做了什么🚀 RankE 做了什么

RankE 通过让生成器和解码器协同进化直接解决了这个问题。

其核心洞察很简单：如果生成器优化本质上已经是对潜在 token 序列进行排序的过程，那么为什么不能将相同的排序原则扩展到像素空间的解码器优化呢？

因此，RankE 采用交替优化：

• **生成器步骤：**优化策略，使得获得更高奖励的潜在 token 序列得到更强的更新；
• **解码器步骤：**优化解码器，使其能够更好地适应生成器不断演化的 token 分布，同时优先考虑获得更高奖励的解码图像。

换句话说，RankE 不仅仅让模型“更擅长得分”。它使得潜在空间和像素空间上的优化保持一致。

这正是它与标准的固定解码器 RL 的关键区别。

https://huggingface.co/papers/2605.21195#%F0%9F%A7%A0-为什么这很重要🧠 为什么这很重要

在离散文本到图像生成的标准 RL 后训练中，生成器不断变化，但解码器保持固定。随着时间的推移，解码器被迫解码那些它从未真正训练过要处理的 token 模式。

RankE 通过在后训练过程中持续适应解码器，移除了这个瓶颈。这使得奖励优化转化为实际的视觉改进，而不是在潜在空间中的奖励欺骗 (reward hacking)。

https://huggingface.co/papers/2605.21195#%F0%9F%93%88-结果📈 结果

效果非常明显。

在 LlamaGen-XL (775M) 上，采用基于 CLIP 的优化：

• **标准 RL：**提升了 CLIP，但损害了 FID
• **RankE：**两者都得到提升

具体地：

• **CLIP：**32.45 → 33.76
• **FID：**17.76 → 15.21

这就是论文的核心信息：RankE 打破了离散文本到图像生成后训练中常见的保真度-对齐度权衡。

改进效果在不同方面也是一致的：

• 不同的主干网络 (backbone)，
• 不同的奖励函数，
• 以及多种评估设置。

https://huggingface.co/papers/2605.21195#%E2%9C%A8-一句话总结✨ 一句话总结

RankE 是一种更自然的离散文本到图像模型后训练方式：它不只是在优化生成器，而是让生成器和解码器共同进步。