低比特整数的有符号对称量化

# 面向低位宽整数的有符号对称量化
来源：https://arxiv.org/html/2607.08779
Ian Colbert, Eashan Dash¹¹，Pablo Monteagudo\-Lago，Juan Amboage，Srinidhi N，Giuseppe Franco，Nicholas J\. Fraser，Arun Ramachandran AMD

###### 摘要

有符号整数表示的负值个数比正值多一个。然而，按照惯例，标准对称量化器将其缩放因子固定为严格正值，这会将这个额外的可表示值分配给负尾，并可能迫使对正异常值进行截断。本文中，我们证明在低位宽精度下，这种截断是不可忽略的量化误差来源。非对称量化通过引入零点来解决此问题，将网格向观察到的数据范围偏移；然而，众所周知，这种灵活性会带来运行时开销。例如，在 AMD EPYC™ “都灵” CPU 上运行 `llama.cpp` 时，4 位对称格式相比其非对称格式，内存使用最多减少 `9%`，吞吐量最高提升 `2.45×`。我们强调有符号对称量化作为第三种选择，它保留了对称量化的运行时特性，而无需承受非对称格式的代价：我们的有符号绝对最大值网格通过一个原则性且轻量级的符号选择规则，将额外的可表示值放置在主导异常值尾部，同时保持零点为零。我们的理论分析提供了两个主要结果。首先，我们证明有符号绝对最大值网格在 `ℓ₂` 量化误差上是条件性边界最优的，并表明在低位宽下，预训练大语言模型（LLM）中 88%-99% 的权重分组满足该条件。其次，我们证明，标准对称量化器缩放因子的取负，在分析上等价于同一有符号整数网格上的单位零点偏移。我们在 Qwen3、Qwen3.5 和 Llama3 系列模型上实证验证了我们的提议，并观察到在无需额外推理成本的情况下，困惑度和下游少样本准确率相比标准的无符号对称量化器均有提升。

## 1 引言

低位宽量化高度依赖于由字母表、缩放因子和（可选的）零点唯一确定的均匀整数网格。一个微小但常被忽视的细节是，标准的 `q` 位有符号字母表 `𝒜_q = {−2^{q−1}, ..., 2^{q−1}−1}` 并不对称：它的负值比正值多一个。然而，按照惯例，标准对称量化器取缩放因子 `s` 为正数（Gerganov (2023)；Gholami 等 (2022)；Xilinx (2018)），从而将额外的可表示值分配给数据的负尾，这可能导致大的正值被截断。我们在本文中表明，在低位宽精度下，这可能成为量化误差的一个重要来源。

非对称量化引入一个零点来使网格与数据范围对齐，但这种灵活性众所周知会带来推理成本（Gholami 等 (2022)；Jacob 等 (2018)；Krishnamoorthi (2018)）。核函数必须处理偏移量，相关的元数据也需要存储和加载。例如，在 Llama3 8B 上，我们发现对称 4 位格式相比其非对称格式，内存使用减少 9%，预填充吞吐量提升 `2.21×`，解码吞吐量提升 `2.03×`（在 AMD EPYC™ “都灵” CPU 上测量，见表 1）。这激发了一个更明确的问题：我们能否在保持推理路径操作上对称的同时，恢复非对称网格有益的端点对齐？

我们用有符号对称量化来回答这个问题，其中我们选择缩放因子的符号，以使数据中的主导异常值与有符号整数字母表中的额外负可表示值对齐。当缩放因子已经作为有符号实数值存储时（如 `llama.cpp` 中），得到的符号规则是闭式、无数据依赖且无元数据依赖的。我们的分析表明，有符号对称量化在保持对称部署路径的同时，恢复了一种受限的非对称对齐。特别地，在 Llama3 8B 的 2 位量化上，它将 WikiText2 困惑度从 `103.1` 降至 `17.8`，并将少样本准确率恢复提升了 `7.9` 个百分点（表 3），同时相对于非对称量化保留了 `1.24×` 的预填充、`1.08×` 的解码和 `14%` 的内存优势（表 1）。

#### 贡献。

我们的贡献有四个方面。**第一**，我们定义了有符号对称量化，并引入了一个原则性且轻量级的符号选择规则，该规则能保留主导异常值（第 3 节）。**第二**，我们证明了一个最坏情况下的 `ℓ₂` 误差界，该界给出了我们提出的符号选择规则的条件性边界最优性（定理 4.3 和推论 4.4）。**第三**，我们证明缩放因子的符号翻转在分析上等价于同一有符号字母表上的单位零点偏移（定理 4.6）。**第四**，我们在 Qwen3、Qwen3.5 和 Llama3 系列模型上进行了评估，表明有符号对称量化在保持对称部署特性的同时（表 1），尤其在低位宽下，相比传统的严格正对称网格有所改进（表 2、3 和 4）。

#### 符号说明。

令 `w ∈ ℝ^d` 表示一个 `d` 维权重向量，其元素 `w_j ∈ ℝ`，`j ∈ [d]`，其中 `[d] = {1, ..., d}`。量化器 `𝒬` 将实数值映射到一个离散的 `q` 位字母表 `𝒜_q ⊂ sℤ`，其步长（或分辨率）为 `s ∈ ℝ`，满足 `|𝒜_q| = 2^q`。具体来说，标准整数量化器为：

`𝒬(w) = s · (clip(⌊w/s + z⌉; 𝒜_q) − z)`， (1)

其中 `s` 是非零缩放因子，`z ∈ ℝ` 是零点，`⌊·⌉` 是四舍五入算子，`clip(x; 𝒜_q) := max(min(x, max 𝒜_q), min 𝒜_q)`。不同的整数量化方案（例如，非对称或对称）通过如何选择 `s, z,` 和 `𝒜_q` 来区分，我们将 `s, z,` 和 `𝒜_q` 的独特选择称为一个网格。

## 2 背景及相关工作

量化旨在将全精度张量映射到一个离散、低精度的网格上，同时最小化重构误差，通常形式为 `‖w − 𝒬(w̃)‖₂²`。先前的工作沿着两个互补的轴解决这个目标：(i) 对于固定网格，搜索使误差最小的赋值 `w̃`；(ii) 对于固定的 `w̃`，搜索使误差最小的网格。这两者并不互斥，正如我们在第 5 节中经验性地展示的那样。

#### 针对固定网格优化 `w̃`。

Frantar 等人 (Frantar 等, 2023) 引入了 GPTQ，一种贪心顺序舍入方案，它利用来自校准数据的近似二阶信息在固定网格上更新权重，纠正局部量化误差。最近，Zhang 等人 (Zhang 等, 2026) 引入了 Qronos，它将该思想推广到也考虑从先前量化层传播的量化误差。另一条并行的工作线在舍入前变换权重张量：Xiao 等人 (Xiao 等, 2023) 重新缩放通道以将量化困难从激活迁移到权重，Ashkboos 等人 (Ashkboos 等, 2024) 应用 Hadamard 旋转以抑制异常值，Liu 等人 (Liu 等, 2025) 通过学习旋转对此进行了扩展。这类算法不是本文的重点，但我们表明有符号对称量化可以与之建设性地结合（第 5 节）。

#### 针对固定 `w̃` 优化网格。

Esser 等人 (Esser 等, 2020) 通过梯度下降学习缩放因子，Bhalgat 等人 (Bhalgat 等, 2020) 将其扩展到可学习的零点。然而，在 LLM 量化中，缩放因子通常使用启发式方法 (Gholami 等, 2022; Krishnamoorthi, 2018; Zhang 等, 2026) 或通过贪心最小化局部量化误差 (Frantar 等, 2023) 从数据范围推导得出。最近的工作在不显式约束其符号的情况下优化缩放因子以最小化局部输出误差，但实际评估中限制为正解 (Amboage 等, 2026; Zhang and Saab, 2026)。无论如何，缩放因子（隐式或显式地）被假定为严格正；这一惯例虽然广泛存在，但并非理论要求。尽管某些实现在使用格式的完整表示范围 (Xilinx, 2018) 还是限制为对称子集（即窄范围）(Gerganov, 2023; Xilinx, 2018) 上存在分歧，但这个选择决定了*是否*使用额外的负电平，而不是*哪个尾部*接收它。据我们所知，没有先前的工作将缩放因子的符号视为一个明确的自由度。因此，我们的贡献属于第二种策略：我们首次对低位宽整数量化的有符号缩放因子进行了理论分析和系统评估。

## 3 有符号对称量化

有符号对称量化利用了有符号 `q` 位字母表固有的不对称性：它比正值多一个负值。标准对称量化按照惯例将缩放因子固定为正，这总是将这个额外的可表示值分配给负尾，可能截断大的正值。在较高精度下这通常可以忽略，但随着位宽 `q` 降低，这种截断可能会主导量化误差，这在定理 4.3 中会进一步明确。

非对称量化通过一个零点移动网格，改善了范围对齐，但改变了部署格式：核函数必须处理偏移并存储其元数据。我们转而询问，能否在有符号字母表固有的不对称性与数据匹配的同时保持 `z = 0`。有符号对称量化正好做到了这一点，详情如下。

表 1：在 AMD EPYC™ “都灵” 128 核 CPU 上，llama.cpp 中对称网格相对于非对称网格的推理成本。每个单元格报告在相同精度下，对称格式与非对称格式的模型内存占用 (GB)、预填充吞吐量 (tokens/s) 和解码吞吐量 (tokens/s) 的比值。内存比值 `<1` 且吞吐量比值 `>1` 有利于对称格式。#### 非对称量化器。

非对称量化允许缩放因子和零点都是自由参数（即 `s, z ∈ ℝ`）。一个常见的选择是最小-最大网格：

`s = (max(w) − min(w)) / (2^q − 1),   z = −min(w) / s,`  (2)

使用无符号字母表 `𝒜_q := {0, ..., 2^q − 1}`。

#### 对称量化器。

对称量化将零点固定为零（即 `z = 0`），并通常将缩放因子定义为最大绝对值（或 absmax）：

`s = ‖w‖_∞ / 2^{q−1},`  (3)

使用有符号字母表 `𝒜_q := {−2^{q−1}, ..., 2^{q−1} − 1}`。我们称此为 absmax 网格。

这些网格选择意味着不同的推理成本 (Gholami 等, 2022; Jacob 等, 2018; Jain 等, 2020)。我们可以直接在由 `llama.cpp` (Gerganov, 2023) 在 AMD EPYC™ “都灵” CPU 上执行的 GGUF 模型中观察到这种区别。在 4 位精度下，`Q4_1` 每个 32 元素组定义一个非对称量化器，存储一个 16 位缩放因子、一个 16 位零点以及 32 个 4 位权重；`Q4_0` 是相应的对称格式，每个 32 个 4 位权重组仅存储一个缩放因子。我们实现了类似的 2 位格式 `Q2_1` 和 `Q2_0`，以进一步刻画低位宽区域的特征；这些是为此研究引入的实验性格式，实现细节和进一步讨论见附录 B。表 1 显示，对称格式在较大模型上使用显著更少的内存（Q4 时最多 `9%`，Q2 时最多 `15%`），并持续提高预填充吞吐量（Q4 时 `1.10`–`2.45×`，Q2 时 `1.02`–`1.39×`），解码吞吐量也大致遵循相同趋势。这是非对称格式灵活性所付出的代价，它激发了一种量化器，在保留对称格式运行时特性的同时，（部分地）恢复非对称格式的端点对齐。

#### 有符号对称量化器。

我们将有符号对称量化定义为有符号字母表 `𝒜_q = {−2^{q−1}, ..., 2^{q−1} − 1}` 上零点 `z = 0` 且非零缩放因子（即 `s ≠ 0`）的均匀整数量化器族。给定缩放因子幅度 `α > 0` 和符号 `γ ∈ {−1, +1}`，令 `s := γα` 且

`𝒬_γ(w) := 𝒬(w; γα, 0) = 𝒬(w; s, 0).`  (4)

注意，标准对称量化器是有符号对称量化器在 `γ = +1` 时的退化情形。此外，允许 `γ = −1` 不会改变网格分辨率；它仅决定有符号字母表中哪个尾部接收额外的可表示端点。

#### 有符号 absmax 网格。

在这个族内，我们引入有符号 absmax 网格。令 `M := ‖w‖_∞ > 0` 且 `α := M / 2^{q−1}`。选择

`γ⋆ = −sign(w_i⋆),   i⋆ ∈ arg max_i∈[d] |w_i|,`  (5)

其中 `i⋆` 索引幅度最大的坐标，采用确定性打破平局。直观上，这个符号选择将