QUASAR：通过损失感知重建降低量化感知训练的损失下限

# QUASAR：通过损失感知重构降低量化感知训练的损失下限
来源：https://arxiv.org/html/2608.13966
Ben Athiwaratkun\* \+Together AI\*，
Christopher De Sa\* \+Together AI\*，
Tianyi Zhang\* \+Together AI\*，
\[4pt\] 康奈尔大学，2026年8月13日

###### 摘要
随着大语言模型推理转向更低精度，训练后量化（PTQ）变得越来越脆弱，因此量化感知训练（QAT）对于保持模型质量至关重要。然而，QAT 使用有损的潜在全精度权重重建来计算损失和替代梯度，同时却将更新应用于潜在权重本身。这种不匹配可能导致次优的训练轨迹和更高的损失下限。二阶 PTQ 方法通过最小化损失感知重构误差来缓解类似的差距，但为冻结模型执行一次此过程可能需要数小时；在 QAT 过程中随着权重演变而重复此过程是不切实际的。我们引入 QUASAR，一种在训练循环中持续执行轻量级、损失感知重构的 QAT 方法，以降低损失下限并改善最终的低比特模型。在每个训练步骤，QUASAR 使用平方梯度的指数移动平均作为在线显著性估计，搜索一小批裁剪范围，并通过显著性加权最小二乘拟合仿射反量化器。我们的分析表明，损失感知重构误差是 QAT 收敛界中唯一依赖于重构的项，并控制着最终量化模型的损失，确立了 QUASAR 的目标是一个有原则的优化目标。QUASAR 仅修改训练过程，并支持标准部署格式，包括整数量化和 NVFP4，无需推理时更改或额外开销。在 Qwen3 和 Llama-3.1 上，QUASAR 在 2、3 和 4 比特下，在有竞争力的 QAT 方法中实现了最低的留出 KL 散度，在 3 和 4 比特下至少降低了 10% 的 KL，在 2 比特下降低了 29%。在 2 比特下，与强大的 QAT 和 PTQ 基线相比，它在八个任务上的平均准确率提高了 3.5–4.3 个百分点。应用于 NVFP4 时，与标准 QAT 相比，QUASAR 将留出 KL 散度降低了约 30%。最后，在针对数学推理的直接低比特适配中，在五个数学基准测试中，QUASAR 优于 QAT 和全精度训练后接 PTQ 的方法至少 10.9 个百分点。

## 1 引言
随着大语言模型（LLMs）规模和应用的增长，推理正取代训练成为部署的主要持续成本\[9 (https://arxiv.org/html/2608.13966#bib.bib9)，54 (https://arxiv.org/html/2608.13966#bib.bib54)\]。为了降低此成本，推理正迅速转向低精度格式，如 FP4 和 INT4\[52 (https://arxiv.org/html/2608.13966#bib.bib52)，48 (https://arxiv.org/html/2608.13966#bib.bib48)，16 (https://arxiv.org/html/2608.13966#bib.bib16)\]，这缩小了模型的内存占用，降低了解码延迟，并实现了更高的并发性和吞吐量\[37 (https://arxiv.org/html/2608.13966#bib.bib37)\]。然而，由于模型通常在高精度下训练而在低精度下服务\[18 (https://arxiv.org/html/2608.13966#bib.bib18)\]，在精度要求日益激进时保持模型质量仍然是一个关键挑战。训练后量化（PTQ）是将训练好的模型转换为低精度的标准方法，但在较新模型上正变得越来越脆弱。推理和智能体模型通常在长上下文上运行，其中量化误差会累积并降低性能\[39 (https://arxiv.org/html/2608.13966#bib.bib39)，33 (https://arxiv.org/html/2608.13966#bib.bib33)，44 (https://arxiv.org/html/2608.13966#bib.bib44)\]。PTQ 模型也可能表现出相对于其全精度对应物的行为偏移和偏差\[41 (https://arxiv.org/html/2608.13966#bib.bib41)，42 (https://arxiv.org/html/2608.13966#bib.bib42)，12 (https://arxiv.org/html/2608.13966#bib.bib12)\]。因此，生成具有更强质量保证的原生低精度模型需要在与服务相同的精度下进行训练。量化感知训练（QAT）通过将量化插入训练循环来解决此需求，允许模型在学习过程中适应量化噪声\[3 (https://arxiv.org/html/2608.13966#bib.bib3)\]。然而，QAT 在优化中引入了一个结构性不匹配：前向传播和损失使用量化-反量化重构权重 rr，而优化器更新潜在的全精度权重 ww。由于量化几乎处处具有零梯度，QAT 通常使用直通估计器（STE），用 ∂L/∂r 近似 ∂L/∂w。此替代梯度通常不是潜在权重的最优下降方向，导致训练沿着次优轨迹进行。其后果是*损失下限差距*：给定相同的模型和训练数据，QAT 比全精度训练收敛到更高的最终训练和留出损失\[6 (https://arxiv.org/html/2608.13966#bib.bib6)，28 (https://arxiv.org/html/2608.13966#bib.bib28)\]。先前的 QAT 方法通过软化舍入操作、与权重联合学习量化参数或改进初始化来缩小此差距\[19 (https://arxiv.org/html/2608.13966#bib.bib19)，14 (https://arxiv.org/html/2608.13966#bib.bib14)，11 (https://arxiv.org/html/2608.13966#bib.bib11)\]。我们转而借鉴二阶 PTQ 方法的一个互补见解：可以通过优化重构过程来减少由 QAT 结构性不匹配引起的额外训练损失。

二阶 PTQ 方法如 GPTQ\[16 (https://arxiv.org/html/2608.13966#bib.bib16)\] 为 QAT 中的结构性不匹配提供了一个有用的视角。在全精度权重 ww 处对损失进行二阶展开，假设在最优点附近一阶项可忽略，得到：L(r) - L(w) ≈ (1/2)S，S = (r - w)ᵀH(r - w)，其中 rr 表示量化-反量化重构，H 是在 ww 处评估的海森矩阵。我们称 S 为*损失感知重构误差*。许多现代 PTQ 方法\[46 (https://arxiv.org/html/2608.13966#bib.bib46)，32 (https://arxiv.org/html/2608.13966#bib.bib32)，15 (https://arxiv.org/html/2608.13966#bib.bib15)，16 (https://arxiv.org/html/2608.13966#bib.bib16)，5 (https://arxiv.org/html/2608.13966#bib.bib5)\] 最小化此量或其近似值，以构建一个损失接近冻结全精度模型的低精度模型。将相同的原则应用于 QAT，可以在潜在权重演变时保持低精度损失 L(r) 更接近全精度损失 L(w)，从而减轻结构性不匹配的影响。然而，挑战在于计算成本。在 PTQ 中，全精度模型是冻结的，因此其重构只需要优化一次，通常对于十亿参数 LLM 需要几分钟到几小时。然而，在 QAT 中，潜在权重在每个步骤都会变化，需要持续重新优化重构。因此，在每个前向传播上运行传统的二阶优化过程成本将过高。

我们引入 QUASAR（具有损失感知重构的量化感知训练），一种通过持续最小化损失感知重构误差来改善训练轨迹并降低损失下限的 QAT 方法。QUASAR 将重构分解为两个阶段：*量化*，将全精度权重映射到离散码，同时将裁剪范围视为自由参数；以及*反量化*，使用学习到的比例因子以及可选的偏移量（用于非对称量化）将这些码映射回重构权重。为了使损失感知目标在训练期间可行，QUASAR 使用平方梯度的指数移动平均来近似海森矩阵，生成每个参数的显著性分数，以估计每个权重对损失的影响。然后，它搜索一小批候选裁剪范围，每个范围定义不同的离散码分配；对于每种分配，它通过显著性加权最小二乘以闭式解求解反量化参数，并选择具有最小损失感知重构误差的候选。

我们的理论分析将 QAT 收敛界分解为三项：初始化、小批量噪声和损失感知重构误差。只有最后一项依赖于重构映射，而它正是 QUASAR 在每个步骤最小化的目标。因此，重构是控制训练轨迹的一个直接杠杆，并且在额外的 PL 条件下，也是控制最终量化模型损失的杠杆（第5节 (https://arxiv.org/html/2608.13966#S5)）。实证表明，QUASAR 在不同比特宽度和模型系列中，始终比有竞争力的 QAT 基线实现更低的训练和评估损失。对于 Qwen3-4B-Thinking\[58 (https://arxiv.org/html/2608.13966#bib.bib58)\] 的量化感知蒸馏，QUASAR 在每个测试的比特宽度下，最终评估损失均低于 Standard QAT、LSQ\[14 (https://arxiv.org/html/2608.13966#bib.bib14)\]、Denoising QAT\[59 (https://arxiv.org/html/2608.13966#bib.bib59)\] 和 BitDistiller\[11 (https://arxiv.org/html/2608.13966#bib.bib11)\]，在 INT4 和 INT3 下至少降低了 10% 的评估损失，在 INT2 下至少降低了 29%。这些收益也延伸到 NVFP4，其中 QUASAR 将评估损失相对 Standard QAT 降低了约 30%，同时提高了下游准确率。我们进一步将 QUASAR 应用于 Qwen3-4B Base 模型在 INT4/3/2 下的监督微调，使用来自 OpenMathReasoning\[45 (https://arxiv.org/html/2608.13966#bib.bib45)\] 的推理轨迹，其中在 INT2 下，QUASAR 在五个数学基准测试中的平均准确率优于有竞争力的 QAT 和 PTQ 基线至少 10.9 个百分点。这些改进几乎没有额外成本：QUASAR 仅使训练步骤时间增加约 1.5%，并且不引入推理开销。

## 2 相关工作
在本节中，我们回顾 QUASAR 所处的两个工作方向：PTQ 和 QAT。PTQ 将量化视为一次性算法：给定一个训练好的模型和一个小校准集，为每个权重选择一个对损失损害最小的低精度值。具体来说，大多数方法使用二阶展开来保持训练模型的质量。例如，Optimal Brain Surgeon 通过其曲率加权幅度来量化扰动\[21 (https://arxiv.org/html/2608.13966#bib.bib21)\]，OBQ 和 GPTQ 通过一次量化一列并更新尚未量化的权重以吸收量化权重引入的误差，将其应用于 LLM\[15 (https://arxiv.org/html/2608.13966#bib.bib15)，16 (https://arxiv.org/html/2608.13966#bib.bib16)\]，而 AdaRound、BRECQ 或 YAQA 则针对重构目标学习舍入本身\[46 (https://arxiv.org/html/2608.13966#bib.bib46)，32 (https://arxiv.org/html/2608.13966#bib.bib32)，57 (https://arxiv.org/html/2608.13966#bib.bib57)\]。所有这些方法都基于权重已冻结且最终的前提，因此重构只发生一次。

PTQ 的第二个工作方向扩展了一次性量化的范围。例如，QuIP、QuIP#、QTIP 和 AQLM 使用随机正交变换扩散异常值，并用晶格、网格或加性码本替换量化网格\[5 (https://arxiv.org/html/2608.13966#bib.bib5)，55 (https://arxiv.org/html/2608.13966#bib.bib55)，56 (https://arxiv.org/html/2608.13966#bib.bib56)，13 (https://arxiv.org/html/2608.13966#bib.bib13)\]。在两位和三位下，这些是最强的可用 PTQ 方法，然而，它们在推理时需要 Hadamard 变换或码本解码，这会负面影响吞吐量，而硬件则转向更简单的块缩放格式，如 MXFP4 和 NVFP4\[52 (https://arxiv.org/html/2608.13966#bib.bib52)，48 (https://arxiv.org/html/2608.13966#bib.bib48)\]。在低于四位时，不增加推理开销的 PTQ 方法性能急剧下降。

QAT 通过各种方法在这些比特宽度下实现更高质量：LSQ 学习步长\[14 (https://arxiv.org/html/2608.13966#bib.bib14)\]，LLM-QAT 和 BitDistiller 使用全精度模型进行监督\[40 (https://arxiv.org/html/2608.13966#bib.bib40)，11 (https://arxiv.org/html/2608.13966#bib.bib11)\]，QLoRA 冻结量化权重并在其上训练低秩适配器\[10 (https://arxiv.org/html/2608.13966#bib.bib10)\]。它们都没有做的是优化从潜在权重到重构权重的映射，这主要由启发式方法设定。QUASAR 直接优化该映射。它在每个步骤搜索裁剪范围，并通过显著性加权最小二乘拟合反量化器，因此 PTQ 只解决一次的重构有效地被带入训练循环，并随着权重适应而调整。第5节 (https://arxiv.org/html/2608.13966#S5) 显示，由此产生的误差控制着由重构引起的梯度不匹配，并通过它控制最终量化模型的损失。搜索和拟合仅产生一个比例因子和偏移量，因此训练模型可以完全像 RTN 量化模型一样部署。

## 3 预备知识
### 3.1 标准 QAT 中的重构
标准 QAT 在内存中存储全精度潜在权重 ww，并在训练期间更新它们。然而，前向传播和损失计算使用一组不同的权重：量化-反量化重构权重 rr。这些重构权重是瞬态的，并且对于每个前向传播从当前潜在权重派生。对于每个权重组，重构过程首先将潜在权重映射到整数码，w → q，然后将这些码映射回实数值权重，q → r。前向传播和损失使用 rr 计算，而优化器更新 ww（图1 (https://arxiv.org/html/2608.13966#S3.F1)）。

从 ww 到 qq 的映射涉及舍入，这没有有用的导数。因此 QAT 使用 STE\[3 (https://arxiv.org/html/2608.13966#bib.bib3)\]：∂L/∂w ≈ ∂L/∂r。

在非对称整数量化中，权重矩阵的每一行被划分为每组 g 个权重的组，例如 g=128。一组 w ∈ ℝᵍ 由 b 位码 q ∈ {0,...,q_max} 表示，其中 q_max = 2ᵇ - 1。组中的所有权重共享一个比例因子 s 和零点 z：q_i = clamp(⌊(w_i - z)/s⌋)，r_i = s·q_i + z。（1）

公式（1）(https://arxiv.org/html/2608.13966#S3.E1) 定义了两个步骤。首先，*码分配*通过移位、缩放、舍入和截断将每个权重映射到整数。其次，*反量化*将整数码映射到重构权重 r_i = s·q_i + z。网络使用 rr 计算前向传播和损失。

重构需要两个决策。第一个是基于裁剪范围如何分配整数码 qq。第二个是如何选择将这些码映射到重构权重值的反量化参数 (s, z)。标准 QAT 仅基于权重的极端值做出这两个决策，而不考虑损失。具体来说，它将裁剪范围设置为组中的最小值和最大值：\[z, z + s·q_max\] = \[min_i w_i, max_i w_i\]。此选择将极端权重放置在量化网格的端点。由此产生的缩放比例因子和零点使得重构权重 rr 尽可能接近原始权重 ww，从而最小化均方误差，但不一定最小化对任务损失的影响。