混合迭代生成模型的训练后量化

# 混合迭代生成模型的训练后量化  
来源：https://arxiv.org/html/2608.13932

## 混合迭代生成模型的训练后量化  
PubID:pubid:© 2026 IEEE. 个人可使用本材料。但若需用于其他任何用途，必须通过电子邮件向 [email protected] 获取 IEEE 许可。  
Junyi Wu, Wei Wang, Yan Yan, Yao Zhao  
致谢：Jing Gao、Wei Wang 和 Yao Zhao 隶属于北京交通大学信息科学研究所，中国北京。电子邮件：\{22331159, wei.wang, yzhao\}@bjtu.edu.cn。（通讯作者：Wei Wang。）  
Junyi Wu 和 Yan Yan 隶属于伊利诺伊大学芝加哥分校，美国伊利诺伊州芝加哥市。电子邮件：\{jwu834, yyan55\}@uic.edu。  
致谢：  
稿件编号：TCSVT-27936-2026。数字对象标识符 10.1109/TCSVT.2026.3710967  

### 摘要  
迭代生成模型涵盖自回归和扩散范式，其混合变体能够实现卓越的图像生成保真度。然而，其迭代推理带来了巨大的计算开销，使得训练后量化成为加速的有效途径。但直接将普通 PTQ 应用于混合迭代模型可能导致模型崩溃。通过分析这些失败案例，我们识别出两个关键挑战：激活值中的异常值在保留正常精度与覆盖异常值之间造成了难以调和的折衷，导致生成质量严重下降；由微小量化误差不可预测地放大而产生的异常值，导致校准与推理之间的失配，从而迭代式地触发模型崩溃。为解决这些挑战，我们提出了 HyGenQ，一种针对混合迭代模型的 PTQ 框架。HyGenQ 包含分层集群解耦和缩放重校准两个模块。分层集群解耦通过多阶段聚类过程识别并分离异常值通道，在保持正常值精度的同时有效隔离异常值，从而缓解性能下降。缩放重校准则将异常值缩放到高斯界限之外，从而避免因激进截断而导致的模型崩溃。大量实验表明，HyGenQ 成功地将代表性的混合迭代模型量化到 8 位精度，在性能上显著优于现有基线，并验证了其在不同模型家族中的鲁棒性。  

### 关键词  
迭代生成模型, 异常值, 模型压缩, 训练后量化, 效率.  

## I. 引言  
迭代生成模型在推理时通过多步细化生成图像，中间状态被反复更新直至收敛。代表性的范式包括自回归和扩散模型。值得注意的是，混合迭代模型结合了逐 token 自回归（用于建模全局结构和长程依赖）与扩散式迭代细化（用于局部细节）。这种耦合利用了两种范式的互补优势，实现了高保真图像生成。然而，混合迭代模型通常因其固有的迭代特性而带来高昂的推理成本：自回归模型顺序预测 token，而扩散模型执行逐步采样。在实践中，主要的瓶颈通常在于线性层中的矩阵乘法，这延长了推理时间并阻碍了混合迭代模型实时应用的可行性。模型量化已成为一种强大的压缩方法，可降低计算开销并提升推理速度。在各种量化方法中，训练后量化脱颖而出，因为它消除了重新训练的必要性，并且仅需少量数据集进行校准。这些特性使得 PTQ 对混合迭代模型尤其具有吸引力，因为生成过程涉及大量重复步骤，而重新训练通常成本高昂。然而，将普通 PTQ 应用于混合迭代模型比应用于标准前馈推理更具挑战性。在迭代生成过程中，激活值可能变得高度非平稳且依赖于上下文，微小的量化扰动可能在多次迭代中传播并累积，从而可能破坏整个过程的稳定性。  

> **图 1：** 迭代生成模型范式与训练后量化挑战概述。迭代模型包括扩散、自回归以及将自回归上下文更新与扩散式细化相耦合的混合流水线（例如 MAR，其中自回归 Transformer 为去噪 MLP 提供条件，以迭代采样新 token 并更新 token 序列）。  
> （左）异常值在牺牲正常值与牺牲异常值之间造成了难以调和的折衷。我们的分层集群解耦通过隔离异常值通道同时保持正常通道的量化精度来解决此问题。  
> （右）由微小量化误差不可预测地放大的异常值，在扩散过程中超出了普通 PTQ 的静态校准范围，从而导致截断伪影。我们的缩放重校准将异常值缩放到有效范围内，避免了模型崩溃。  

具体而言，我们观察到两种阻碍混合迭代模型有效 PTQ 的失败模式：  

1.  **异常值**：激活值中的异常值对均匀量化构成了重大障碍，使其难以在保持占主导地位的正常值的精度与维持异常值的表示范围（通常对生成质量至关重要）之间取得适当平衡。牺牲任何一个分量都可能导致大量信息损失甚至模型崩溃，如图 1（左）所示。  

2.  **放大异常**：激活值中的放大异常源自扩散过程中的微小量化误差。这些误差一旦被放大，就会引入不可预测的偏差，并传播到后续的去噪步骤中。普通 PTQ 方法受限于静态校准范围，无法处理推理过程中此类不可预测的溢出。因此，它们会截断这些关键异常，最终导致严重的模型崩溃，如图 1（右）所示。  

为解决这些挑战，我们提出了 **HyGenQ**，一种针对混合迭代模型的训练后量化框架。HyGenQ 集成了两个模块：  

*   为解决异常值问题，我们提出了**分层集群解耦**。HCD 的动机源于观察到表现出异常值的通道在同一层内的迭代过程中保持高度一致性。利用这种一致性，HCD 旨在检测并隔离异常值通道，从而能够分离异常值和正常值，以更好地保持生成质量。具体而言，HCD 采用三阶段分层聚类过程：它首先将通道划分为多个细粒度集群，然后根据量化误差度量将它们聚合为主集群和非主集群，最后相应地解耦正常通道和异常值通道以进行独立量化。我们的 HCD 有利于在保留异常值与保持正常值精度之间实现有利的折衷，同时对整体量化精度的影响最小。  

*   为进一步解决放大异常的问题，我们提出了**缩放重校准**。SR 基于观察到异常是非平稳和不规则的，通常发生在去噪过程的早期。利用这一特性，SR 根据全精度模型的激活分布定义了一个固定的高斯界限，并动态监控跨通道的激活波动。超过此界限的通道将被相应缩放以恢复稳定性。SR 有效缓解了由异常引起的模型崩溃风险，同时保持了整体的生成保真度。  

我们的 HyGenQ 成功地将代表性的迭代模型量化到 8 位精度，证明了其鲁棒性和通用性。特别是对于混合迭代模型，即使忽略由放大异常引起的严重崩溃风险，现有的 PTQ 方法仍然遭受生成质量的严重下降。相比之下，HyGenQ 始终以显著优势优于这些基线。更关键的是，当所有线性层都被量化时，主流 PTQ 方法通常导致模型完全崩溃，而 HyGenQ 阻止了这种灾难并恢复了生成能力。  

## II. 背景与相关工作  

### II-A. 迭代生成模型  
迭代生成模型通过多步推理合成图像，中间状态被反复更新直至收敛。代表性的范式包括通过迭代去噪生成样本的扩散模型、顺序预测离散视觉 token 的自回归模型，以及将逐 token 自回归建模与扩散式迭代细化相结合的混合架构。在混合迭代模型中，两种范式的紧密耦合导致了高度非平稳的激活值，为训练后量化带来了严峻挑战。在本工作中，我们使用掩码自回归模型作为代表性的混合流水线，并简要回顾其架构和推理过程。具体而言，对于一系列 token，其中下标表示序列顺序，自回归模块根据先前的 token 产生一个向量，该向量作为扩散网络的条件，对后续 token 进行概率分布建模。为了从分布中采样，MAR 模型应用了遵循 DDPM 常见实践的迭代去噪反向扩散过程：  
$$ x_{t-1} = \frac{1}{\sqrt{\alpha_t}} \left( x_t - \gamma_t \varepsilon_\theta(x_t | t, z) \right) + \sigma_t \delta, \tag{1} $$  
其中系数 $\gamma_t \triangleq \frac{1-\alpha_t}{\sqrt{1-\bar{\alpha}_t}}$ 控制预测噪声的影响，$\varepsilon_\theta(x_t | t, z)$ 表示基于 $x_t$ 的预测噪声。在训练时，MAR 采用扩散损失来学习分布 $p(x|z)$，定义如下：  
$$ \mathcal{L}(z,x) = \mathbb{E}_{\varepsilon,t} \left[ \left\| \varepsilon - \varepsilon_\theta(x_t | t, z) \right\|^2 \right]. \tag{2} $$  
来自扩散损失的梯度通过 $z$ 反向传播到自回归骨干网络，从而实现端到端的联合训练。此外，在实践中，相同的 $z$ 会被多个时间步 $t$ 重复使用，以更好地利用损失，而无需重新计算 $z$。在推理时，借助双向注意力使每一步都能生成 token 的随机子集，该过程逐步细化序列，直至合成完整图像。总体而言，MAR 可以概括为通过自回归对 token 间的相互依赖性进行建模，同时通过扩散对每个 token 的分布进行联合建模。然而，迭代模型共有的迭代推理通常会带来巨大的计算开销，这推动了在实际场景中对高效部署和加速的进一步研究。  

### II-B. 训练后量化  
模型量化通过将全精度参数转换为低比特整数，可以显著降低存储需求和计算复杂度，从而在实践中提高推理速度。形式上，训练后量化在校准过程中对一小批代表性样本进行量化参数校准，然后在推理期间使用这些参数进行低比特计算。对于在校准期间收集的线性层输入激活张量 $x$，仿射均匀量化过程可以表示如下：  
$$ Q(x) = \text{clip}\left(\left\lfloor\frac{x}{\lambda}\right\rceil + \beta, \; 0, \; 2^{b-1} \right), \quad \text{其中 } \lambda = \frac{\max(x)-\min(x)}{2^b-1}, \; \beta = -\left\lfloor\frac{\min(x)}{\lambda}\right\rceil. \tag{3} $$  
这里，$x$ 表示全精度张量，$\lfloor\cdot\rceil$ 表示取整函数，$\lambda$ 和 $\beta$ 分别表示量化缩放因子和零点。该公式将 $x$ 映射到整数范围 $[0, 2^{b-1}]$，其中 $b$ 表示量化比特宽度。在众多量化方法中，训练后量化作为一种有效的模型压缩技术脱颖而出。