扩散 Transformer 中的强化学习后训练本质上是激活引导

Hugging Face Daily Papers 论文

摘要

论文表明,向冻结的扩散 Transformer 中加入一组固定的引导向量,即可恢复强化学习后训练 90–96% 的奖励提升,这说明大部分改进来自一个恒定的、与输入无关的偏移,而非复杂的依赖提示的变换。

强化学习(RL)后训练能显著提升扩散 Transformer 的视觉质量、文字渲染能力和组合准确性。由于渲染指定文本或多物体组合等能力本质上依赖提示(prompt),一个自然的假设是:要改进这些能力,需要学习复杂的、依赖输入的变换。为了厘清这些提升中有多少可以用与输入无关的偏移来解释,我们用一种刻意简单的参数化方式来探测每个经 RL 调优的模型:一组固定的引导向量,直接加到冻结基模型各模块的输出上。在 SD3.5-M 上,这些向量的参数量比 RL 调优的 LoRA 少 65 倍(0.29M 对 18.8M)。我们将其拟合以匹配公开 RL 调优检查点的速度预测(velocity predictions),目标函数中不含任何奖励项。尽管这些向量对所有提示、token 和采样随机种子都完全相同,它们仍能恢复六个 RL 调优图像模型 90.0–96.3% 的奖励提升,在两个 RL 调优视频模型上分别达到 89.8% 和 111.9%。将向量初始化为零并结合在线 RL 训练后,仅靠这些向量在 SD3.5-M 的文字渲染(OCR)和人类偏好(PickScore)上就超过了基于权重的 RL 所取得的奖励提升。因此,一个恒定的偏移就足以带来策略梯度 RL 后训练的大部分收益:无需新的依赖输入的变换,它就能将预训练生成器引导至其本身已能计算的内容上。
查看原文
查看缓存全文

缓存时间: 2026/11/20 19:36

论文页面 - 扩散 Transformer 中的强化学习后训练即激活引导

来源:https://huggingface.co/papers/2611.26627

摘要

将一组固定的引导向量加入到冻结的扩散 Transformer 中,即可恢复强化学习后训练的大部分质量提升,这表明改进很大程度上来自一个恒定的偏移,而非针对提示词的特定变换。

强化学习(RL)后训练能显著提升扩散 Transformer(https://huggingface.co/papers?q=diffusion%20transformers)的视觉质量、文本渲染和组合准确性。由于渲染指定文本或组合多个对象等能力本质上依赖于提示词(https://huggingface.co/papers?q=prompt-dependent),一个自然的假设是,提升这些能力需要学习复杂的、依赖输入的变换(https://huggingface.co/papers?q=input-dependent%20transformations)。为了量化这些提升中有多少可以由一个与输入无关的偏移(https://huggingface.co/papers?q=input-independent%20shift)来解释,我们用一种刻意简单的参数化方式对每个 RL 调优后的模型进行探测:将一组固定的引导向量(https://huggingface.co/papers?q=steering%20vectors)加入到冻结的基础模型(https://huggingface.co/papers?q=frozen%20base%20model)的块输出(https://huggingface.co/papers?q=block%20outputs)上。在 SD3.5-M(https://huggingface.co/papers?q=SD3.5-M)上,这些向量的参数量比 RL 调优的 LoRA(https://huggingface.co/papers?q=RL-tuned%20LoRA)少 65 倍(0.29M 对比 18.8M)。我们将它们拟合以匹配公开 RL 调优检查点(https://huggingface.co/papers?q=RL-tuned%20checkpoints)的速度预测(https://huggingface.co/papers?q=velocity%20predictions),目标函数中不包含任何奖励项。尽管这些向量对每个提示词、每个 token 和每个采样种子(https://huggingface.co/papers?q=sampling%20seed)都完全相同,但它们恢复了六个 RL 调优图像模型(https://huggingface.co/papers?q=RL-tuned%20image%20models)90.0–96.3% 的奖励提升,以及两个 RL 调优视频模型(https://huggingface.co/papers?q=RL-tuned%20video%20models)的 89.8% 和 111.9%。以零初始化并通过在线 RL(https://huggingface.co/papers?q=online%20RL)训练,仅靠这些向量在 SD3.5-M(https://huggingface.co/papers?q=SD3.5-M)上的文本渲染(OCR(https://huggingface.co/papers?q=OCR))和人类偏好(PickScore(https://huggingface.co/papers?q=PickScore))方面的奖励提升就已超过基于权重的 RL(https://huggingface.co/papers?q=weight-based%20RL)。因此,对于策略梯度 RL(https://huggingface.co/papers?q=policy-gradient%20RL)后训练的大部分提升来说,一个恒定的偏移就已足够:无需新的依赖输入的变换(https://huggingface.co/papers?q=input-dependent%20transformations),它就能将预训练生成器(https://huggingface.co/papers?q=pretrained%20generator)引导至它本就已能计算的方向。

查看 arXiv 页面(https://arxiv.org/abs/2611.26627)查看 PDF(https://arxiv.org/pdf/2611.26627)项目主页(https://rl-is-steering.github.io/)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2611.26627)

在你的 agent 中获取本文:

hf papers read 2611.26627

没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

没有模型链接到本文。

在模型 README.md 中引用 arxiv.org/abs/2611.26627 即可从本页面链接它。

引用本文的数据集 0

没有数据集链接到本文。

在数据集 README.md 中引用 arxiv.org/abs/2611.26627 即可从本页面链接它。

引用本文的 Spaces 0

没有 Space 链接到本文。

在 Space README.md 中引用 arxiv.org/abs/2611.26627 即可从本页面链接它。

包含本文的合集 0

没有合集包含本文。

将本文添加到合集(https://hf.co/new-collection)即可从本页面链接它。

相似文章

SafeDiffusion-R1: 在线奖励引导的安全扩散后训练

Hugging Face Daily Papers

SafeDiffusion-R1 引入了一个基于 GRPO 和引导奖励机制的在线强化学习框架,用于提升扩散模型的安全性,无需监督数据或奖励调优,在多个有害类别上实现了最先进的性能。

Genesis 引导:通过训练数据实现更好的激活引导

arXiv cs.LG

该论文提出了“创世引导”(genesis steering),一种从模型自身微调数据中的对比样本(或在无法获取此类数据时,使用基于成员推断的替代数据)中提取激活引导向量的方法。在 Tülu-3-8B 和 Llama-3.1-8B-Instruct 上,该方法展现出比使用外部数据集更强的安全引导效果。

将引导向量用作大语言模型后训练中的训练信号

arXiv cs.LG

本文探索了在大语言模型后训练过程中将引导向量用作训练信号的方法,表明将其注入隐藏状态能够改善监督微调(SFT)和蒸馏效果(提升幅度最高达 12%),并且基于正确性对比的方向可以修正 GRPO 中的优势值,从而恢复零梯度组中的学习信号。

存在但重新调整尺度:加法激活引导从聊天到智能体的迁移

arXiv cs.LG

本文首次系统研究了在单轮聊天中校准的加法激活引导如何迁移到使用工具的ReAct智能体。研究发现,尽管注入的方向在不同设定下几乎以全强度到达深层,但行为耦合在不同模型和上下文之间变化莫测,放大至2倍或衰减,带来即时安全担忧。