扩散 Transformer 中的强化学习后训练本质上是激活引导
摘要
论文表明,向冻结的扩散 Transformer 中加入一组固定的引导向量,即可恢复强化学习后训练 90–96% 的奖励提升,这说明大部分改进来自一个恒定的、与输入无关的偏移,而非复杂的依赖提示的变换。
查看缓存全文
缓存时间: 2026/11/20 19:36
论文页面 - 扩散 Transformer 中的强化学习后训练即激活引导
来源:https://huggingface.co/papers/2611.26627
摘要
将一组固定的引导向量加入到冻结的扩散 Transformer 中,即可恢复强化学习后训练的大部分质量提升,这表明改进很大程度上来自一个恒定的偏移,而非针对提示词的特定变换。
强化学习(RL)后训练能显著提升扩散 Transformer(https://huggingface.co/papers?q=diffusion%20transformers)的视觉质量、文本渲染和组合准确性。由于渲染指定文本或组合多个对象等能力本质上依赖于提示词(https://huggingface.co/papers?q=prompt-dependent),一个自然的假设是,提升这些能力需要学习复杂的、依赖输入的变换(https://huggingface.co/papers?q=input-dependent%20transformations)。为了量化这些提升中有多少可以由一个与输入无关的偏移(https://huggingface.co/papers?q=input-independent%20shift)来解释,我们用一种刻意简单的参数化方式对每个 RL 调优后的模型进行探测:将一组固定的引导向量(https://huggingface.co/papers?q=steering%20vectors)加入到冻结的基础模型(https://huggingface.co/papers?q=frozen%20base%20model)的块输出(https://huggingface.co/papers?q=block%20outputs)上。在 SD3.5-M(https://huggingface.co/papers?q=SD3.5-M)上,这些向量的参数量比 RL 调优的 LoRA(https://huggingface.co/papers?q=RL-tuned%20LoRA)少 65 倍(0.29M 对比 18.8M)。我们将它们拟合以匹配公开 RL 调优检查点(https://huggingface.co/papers?q=RL-tuned%20checkpoints)的速度预测(https://huggingface.co/papers?q=velocity%20predictions),目标函数中不包含任何奖励项。尽管这些向量对每个提示词、每个 token 和每个采样种子(https://huggingface.co/papers?q=sampling%20seed)都完全相同,但它们恢复了六个 RL 调优图像模型(https://huggingface.co/papers?q=RL-tuned%20image%20models)90.0–96.3% 的奖励提升,以及两个 RL 调优视频模型(https://huggingface.co/papers?q=RL-tuned%20video%20models)的 89.8% 和 111.9%。以零初始化并通过在线 RL(https://huggingface.co/papers?q=online%20RL)训练,仅靠这些向量在 SD3.5-M(https://huggingface.co/papers?q=SD3.5-M)上的文本渲染(OCR(https://huggingface.co/papers?q=OCR))和人类偏好(PickScore(https://huggingface.co/papers?q=PickScore))方面的奖励提升就已超过基于权重的 RL(https://huggingface.co/papers?q=weight-based%20RL)。因此,对于策略梯度 RL(https://huggingface.co/papers?q=policy-gradient%20RL)后训练的大部分提升来说,一个恒定的偏移就已足够:无需新的依赖输入的变换(https://huggingface.co/papers?q=input-dependent%20transformations),它就能将预训练生成器(https://huggingface.co/papers?q=pretrained%20generator)引导至它本就已能计算的方向。
查看 arXiv 页面(https://arxiv.org/abs/2611.26627)查看 PDF(https://arxiv.org/pdf/2611.26627)项目主页(https://rl-is-steering.github.io/)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2611.26627)
在你的 agent 中获取本文:
hf papers read 2611.26627
没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用本文的模型 0
没有模型链接到本文。
在模型 README.md 中引用 arxiv.org/abs/2611.26627 即可从本页面链接它。
引用本文的数据集 0
没有数据集链接到本文。
在数据集 README.md 中引用 arxiv.org/abs/2611.26627 即可从本页面链接它。
引用本文的 Spaces 0
没有 Space 链接到本文。
在 Space README.md 中引用 arxiv.org/abs/2611.26627 即可从本页面链接它。
包含本文的合集 0
没有合集包含本文。
将本文添加到合集(https://hf.co/new-collection)即可从本页面链接它。
相似文章
SafeDiffusion-R1: 在线奖励引导的安全扩散后训练
SafeDiffusion-R1 引入了一个基于 GRPO 和引导奖励机制的在线强化学习框架,用于提升扩散模型的安全性,无需监督数据或奖励调优,在多个有害类别上实现了最先进的性能。
Genesis 引导:通过训练数据实现更好的激活引导
该论文提出了“创世引导”(genesis steering),一种从模型自身微调数据中的对比样本(或在无法获取此类数据时,使用基于成员推断的替代数据)中提取激活引导向量的方法。在 Tülu-3-8B 和 Llama-3.1-8B-Instruct 上,该方法展现出比使用外部数据集更强的安全引导效果。
将引导向量用作大语言模型后训练中的训练信号
本文探索了在大语言模型后训练过程中将引导向量用作训练信号的方法,表明将其注入隐藏状态能够改善监督微调(SFT)和蒸馏效果(提升幅度最高达 12%),并且基于正确性对比的方向可以修正 GRPO 中的优势值,从而恢复零梯度组中的学习信号。
超越Mode-Seeking RL:扩散语言模型的轨迹平衡后训练
本文识别了扩散语言模型奖励最大化后训练中的一种失败模式,称为“轨迹锁定”,并提出了TraFL,一种轨迹平衡目标,可提高数学和代码基准测试中的多样性和性能。
存在但重新调整尺度:加法激活引导从聊天到智能体的迁移
本文首次系统研究了在单轮聊天中校准的加法激活引导如何迁移到使用工具的ReAct智能体。研究发现,尽管注入的方向在不同设定下几乎以全强度到达深层,但行为耦合在不同模型和上下文之间变化莫测,放大至2倍或衰减,带来即时安全担忧。