先素描后绘制：面向扩散多模态大语言模型的层次化强化学习

# 扩散多模态大语言模型的层级强化学习
来源: https://arxiv.org/html/2605.16842  
Siqi Luo¹,²,\*, Jianghan Shen²,³,\*, Yi Xin³,⁴, Huayu Zheng¹, Haoxing Chen³, Yan Tai¹, Qi Qin², Yue Li⁵, Junjun He²,⁴, Yihao Liu², Guangtao Zhai¹, Yuewen Cao², Xiaohong Liu¹,⁴,†  
¹上海交通大学, ²上海人工智能实验室, ³南京大学, ⁴上海创新研究院, ⁵北京大学  
![[Uncaptioned image]](https://arxiv.org/html/2605.16842v1/fig/github.png)  
代码: https://github.com/Alpha-VLLM/Lumina-DiMOO  

###### 摘要  
扩散多模态大语言模型（dMLLMs）在图像生成方面能力强大，但通过强化学习（RL）对其进行优化仍是一项重大挑战。一个主要困难在于，单张图像可以通过多种不同的去掩码序列生成，这使得计算重要性比率通常难以处理。此外，现有方法往往忽略了 dMLLMs 的分层生成过程——早期 token 定义全局布局，后期 token 关注局部细节。通过将统一奖励分配给所有 token，这些现有方法未能反映每个 token 对最终图像的实际贡献。为解决这些问题，我们提出了 HierarchicalTokenGRPO（HT-GRPO），它将这种层级结构直接融入策略优化过程中。我们的方法采用了一种“草图-再绘制”的训练方案，将更新组织为三个不同阶段：全局、结构和细化。我们还使用一个基于提示条件的估计器，从完全掩码状态开始计算重要性比率。此外，我们引入了一种层级信用分配机制，优先考虑关键结构 token，以确保奖励准确传播。使用两种流行的 dMLLM 骨干网络 MMaDA 和 Lumina-DiMOO 进行的实验表明，HT-GRPO 在 GenEval 和 DPG 基准测试上取得了显著提升。对六个额外指标的评估证实，图像质量、美学和人类偏好均有显著改善。  
†*\*Equal contribution †Corresponding author: [email protected]  

## 1 引言  
近年来，由强大扩散模型 (Cai et al., 2025 (https://arxiv.org/html/2605.16842#bib.bib49); Qin et al., 2025 (https://arxiv.org/html/2605.16842#bib.bib48); Wu et al., 2025 (https://arxiv.org/html/2605.16842#bib.bib50); Team et al., 2025 (https://arxiv.org/html/2605.16842#bib.bib51)) 和自回归 (AR) 模型 (Wang et al., 2024 (https://arxiv.org/html/2605.16842#bib.bib55); Cui et al., 2025 (https://arxiv.org/html/2605.16842#bib.bib52); Xin et al., 2025c (https://arxiv.org/html/2605.16842#bib.bib54); Liu et al., 2026a (https://arxiv.org/html/2605.16842#bib.bib53)) 驱动的文本到图像 (T2I) 生成取得了重大突破。这一成功很大程度上建立在计算资源、模型参数和训练数据的扩展之上。与此同时，强化学习 (RL) (Liu et al., 2025 (https://arxiv.org/html/2605.16842#bib.bib56); Xue et al., 2025 (https://arxiv.org/html/2605.16842#bib.bib57); Geng et al., 2025 (https://arxiv.org/html/2605.16842#bib.bib58); Yuan et al., 2025 (https://arxiv.org/html/2605.16842#bib.bib59)) 的整合也已成为一个关键组成部分。通过有效对齐生成输出与人类偏好（例如，提示遵从性、美学），RL 显著提升了 T2I 模型的性能。最近，扩散多模态大语言模型 (dMLLMs) (Yang et al., 2025b (https://arxiv.org/html/2605.16842#bib.bib36); Xin et al., 2025b (https://arxiv.org/html/2605.16842#bib.bib38); Shi et al., 2026 (https://arxiv.org/html/2605.16842#bib.bib37); Bie et al., 2026 (https://arxiv.org/html/2605.16842#bib.bib61); Li et al., 2025 (https://arxiv.org/html/2605.16842#bib.bib63); You et al., 2026 (https://arxiv.org/html/2605.16842#bib.bib62)) 作为一种重要的架构演变出现。通过对离散 token 执行并行迭代去噪，dMLLMs 提供了一种新颖的视觉生成方法。这种架构转变自然要求研究人员专门为 dMLLMs 设计 RL 策略。  
dMLLMs 的生成过程本质上是分层的：早期解码的 token 在高不确定性下塑造全局布局，而后期解码的 token 在低不确定性下细化局部细节。参见图注  
图 1: dMLLMs 的 RL 内部循环策略比较。现有 RL 方法通常遵循两条路径，但两者都未能考虑到这种结构：  
1) 随机重掩码方法（如图 1 (https://arxiv.org/html/2605.16842#S1.F1)(a) 所示）(Ma et al., 2025a (https://arxiv.org/html/2605.16842#bib.bib27); Zhao et al., 2025 (https://arxiv.org/html/2605.16842#bib.bib29); Liu et al., 2026b (https://arxiv.org/html/2605.16842#bib.bib30)) 通过随机重新掩码生成图像中的 token，并在剩余可见上下文下评估所选 token 来近似中间状态（局限性：未来 token 污染）。然而，这种最早的朴素范式将未来信息泄露到所选步骤中。它还任意地将负责全局布局的结构 token 与负责局部细节的细化 token 混合到同一个梯度更新中，阻碍了模型在适当阶段对每组进行优化（局限性：阶段混淆）。  
2) 轨迹记录方法（如图 1 (https://arxiv.org/html/2605.16842#S1.F1)(b) 所示）(Wang et al., 2025b (https://arxiv.org/html/2605.16842#bib.bib44); Yang et al., 2025a (https://arxiv.org/html/2605.16842#bib.bib31); Pan et al., 2025 (https://arxiv.org/html/2605.16842#bib.bib32); Zhan, 2025 (https://arxiv.org/html/2605.16842#bib.bib11)) 通过存储实际的去噪轨迹来构建更显式的决策过程。虽然这防止了信息泄漏，但每个生成图像的内部循环更新绑定到单个记录的排序，忽略了其他许多有效的去掩码排序（局限性：路径覆盖狭窄）。  
除了这些具体问题，两种路径都将统一的图像级奖励分配给所有 token，忽略了不同 token 对最终图像质量的影响完全不同（共享局限性：统一 token 奖励）。  
为了克服这些限制，我们提出了 Hierarchical Token GRPO (HT-GRPO)，这是一种新颖的 RL 方法，它将 dMLLM 生成的层次结构显式编码到内部循环策略优化中。HT-GRPO 由两个核心组件组成。  
首先，我们提出了一个“草图-再绘制”的分阶段训练框架。这将在内部循环更新组织成三个连续阶段（如图 1 (https://arxiv.org/html/2605.16842#S1.F1)(c) 所示）：一个全局阶段，联合更新所有 token 以建立稳定的粗略基础；一个结构阶段，专门关注结构 token 以锐化全局构图；以及一个细化阶段，仅在结构稳定后打磨局部细节，防止结构 token 和细化 token 在同一个梯度更新中混合。在每个阶段内，随机子集采样覆盖了同一语义级别上的多个有效生成路径。这使得模型能够在一组丰富的语义一致生成路径上进行探索和优化。为了支持这种分阶段优化，我们进一步引入了一个基于提示条件的估计器，它仅使用文本提示作为条件，在统一的完全掩码状态下计算 token 级重要性比率。这同时消除了未来 token 污染、防止了在评估细化 token 时出现低熵退化，并消除了缓存任何中间去噪状态的需要。  
其次，我们引入了层级信用分配。这将更高的信用权重分配给早期结构 token，更低的权重分配给后期细化 token，确保图像级奖励按照每个 token 的实际贡献成比例分配。广泛的实验证实，HT-GRPO 在多个基准测试上提供了卓越的文本-图像对齐。在 MMaDA 模型上，它将 GenEval 从 0.56 提升到 0.83，DPG 从 70.51 提升到 81.09。当应用于 Lumina-DiMOO 时，这些分数进一步分别提升到 0.92 和 84.47。此外，HT-GRPO 显著提升了涵盖图像质量、美学和人类偏好的六个指标的性能。这些结果证实了层级 token 优化是一种通用且有效的方法。  
总体而言，我们的贡献可总结如下：  
- •我们揭示了 dMLLM 生成的内在层次结构至关重要。现有的 RL 方法忽略了它，导致阶段混淆和不准确的奖励广播。相反，我们显式利用这种结构来实现原则性的层级策略优化。  
- •我们提出了“草图-再绘制”分阶段训练，它将内部循环更新按生成顺序划分为全局、结构和细化阶段，并使用基于提示的估计器来防止未来 token 污染，无需缓存轨迹。  
- •我们设计了层级信用分配，为不同的 token 分配根据生成顺序感知的权重。这有效地将奖励传播与每个 token 的实际贡献对齐。  
- •我们展示了 HT-GRPO 在多个基准测试上一致地增强了 MMaDA 和 Lumina-DiMOO。这证实了层级 token 优化在 dMLLM 架构上的强大泛化能力，超越了领先的 T2I 模型。  

参见图注  
图 2: dMLLMs 中图像生成过程的可视化。顶部：早期（红色，结构）token 设定布局，后期（蓝色，细化）token 添加细节。底部：描绘相应的输出。  

## 2 预备知识  
### 2.1 dMLLMs 的图像生成过程  
dMLLMs 通过迭代去噪掩码视觉 token 来生成图像。一张图像被表示为长度为 N 的 token 序列，带有文本条件 c。从完全掩码状态 x^(T) 开始，模型重复地揭开位置上的一部分子集，直到生成最终图像 x^(0) = (v₁, ..., vₙ)：  
x^(t-1) ~ π_θ( · | x^(t), c),  t = T, T-1, ..., 1.  (1)  
与自回归模型（以固定的从左到右顺序生成 token）不同，dMLLMs 可以通过许多不同的去掩码顺序生成相同的图像。我们使用生成次序排名 ρ_{g,i} ∈ {1, ..., N} 来跟踪这个顺序：排名 1 是第一个被揭开的位置，排名 N 是最后一个。在同一阶段被揭开的 token 在该阶段内按照任意固定顺序获得连续排名。排名 ρ_{g,i} 反映了模型在预测时已知信息的基本不对称性。排名 ρ_{g,i} 较小的 token 被早期揭开，此时图像的大部分仍处于掩码状态。它面临高不确定性，其选择在很大程度上决定了物体出现的位置以及场景的组织方式。排名 ρ_{g,i} 较大的 token 被后期揭开，此时图像的大部分已被揭示。它面临低得多的不确定性，主要细化颜色、纹理和局部细节。我们将排名 ρ_{g,i} 小的 token 称为结构 token，排名 ρ_{g,i} 大的 token 称为细化 token（图 2 (https://arxiv.org/html/2605.16842#S1.F2)）。命题 C.1 (https://arxiv.org/html/2605.16842#A3.SS0.SSS0.Px1) 提供了这种熵差距的形式化描述。这种由排名引起的不对称性成为将 RL 应用于 dMLLMs 时的关键挑战，如第 2.2 (https://arxiv.org/html/2605.16842#S2.SS2) 节所述。  

### 2.2 组相对策略优化  
GRPO (Shao et al., 2024 (https://arxiv.org/html/2605.16842#bib.bib46)) 通过在从行为策略 π_{θ_old} 采样的 G 个 rollout 上最大化一个裁剪代理目标，使用每 token 重要性比率和组相对优势；标准公式在附录 D (https://arxiv.org/html/2605.16842#A4) 中回顾。  
将 GRPO 应用于 dMLLMs。将 token 级 GRPO 目标扩展到 dMLLMs 依赖于公式 (1) (https://arxiv.org/html/2605.16842#S2.E1) 的两个性质。首先，马尔可夫链分解：沿着固定的去掩码轨迹，联合概率通过链式法则逐步分解。其次，步骤内条件独立性：给定当前状态 x^(t) 和文本提示 c，在步骤 t 被揭开的 token 在各个位置上独立采样。这两个性质共同使得在 dMLLMs 中能够形成每 token 的重要性比率公式，类似于自回归情况（附录 D (https://arxiv.org/html/2605.16842#A4)）。  

###### 假设 1（阶段变化优化）。由于 dMLLMs 在逐渐变化的视觉上下文中跨 T 个阶段解码 token，因此每步优化目标本质上是不均匀的。因此，我们引入一个优化支持集 M_g^(k) 和条件上下文 C_{g,i}^(k) 来刻画每个梯度步骤 k。本文讨论的所有方法都这个范式的具体实例。统一的比较见附录 B (https://arxiv.org/html/2605.16842#A2)。  
在假设 1 (https://arxiv.org/html/2605.16842#Thmassumption1) 下，梯度步骤 k ∈ {1, ..., K} 的目标为：  
J^(k)(θ) = E_{c, {x_g^(0)}} ~ π_{θ_old} [ (1/G) Σ_{g=1}^G (1/|M_g^(k)|) Σ_{i∈M_g^(k)} min( r_{g,i}^(k)(θ) A_g,  clip( r_{g,i}^(k)(θ), 1-ε, 1+ε) A_g ) - β D_KL(π_θ || π_ref) ]  (2)  
其中，每 token 重要性比率  
r_{g,i}^(k)(θ) = π_θ( v_{g,i} | C_{g,i}^(k), c ) / π_{θ_old}( v_{g,i} | C_{g,i}^(k), c )  (3)  
衡量在视觉上下文 C_{g,i}^(k) 和文本上下文 c 条件下，视觉 token v_{g,i} 在当前策略与行为策略下的相对似然。组相对优势 A_g = (R_g - mean({R_j})) / (std({R_j}) + δ) 是一个标量，统一广播到 rollout g 中的每个 token。  

### 2.3 现有方法的局限性  
如评论 1 (https://arxiv.org/html/2605.16842#Thmremark1) 所述，J* 在实践中难以处理。因此，现有方法通过对 M_g^(k) 和 C_{g,i}^(k) 做出不同选择来近似它。随机重掩码方法通过随机掩码构建多样的伪轨迹，而轨迹记录方法则基于单一观察到的轨迹进行条件化。每种近似都有其自身的局限性，如下所述。统一的比较形式见附录 B (https://arxiv.org/html/2605.16842#A2)。  
随机重掩码方法。MaskGRPO (Ma et al., 2025a