可变位宽量化：为“更大但更小”的语言模型学习每组的精度

# 学习每组精度以实现“更大但更小”的语言模型
来源：https://arxiv.org/html/2607.02893
## 可变位宽量化：学习每组精度以实现“更大但更小”的语言模型

###### 摘要

低位量化压缩了语言模型，但将精度视为单一的全局超参数：每个权重都被强制为相同的位宽。我们提出了**可变位宽量化**（VBQ），这是一种训练时方法，其中每64个连续权重的组通过Gumbel-Softmax松弛从 \{1,2,4,8\} 位中学习自身的分辨率，并与网络采用交替优化联合训练，从而为精度logits提供干净、与任务对齐的信号。在仅解码器变换器中，VBQ发现了一致且强异构的分配——**在单个投影类型**内部而不仅仅跨层——这是逐层方法无法表达的：69%的组坍缩到1位，语言模型头平均1.09位，而第一个MLP块保持约2.5位。这种发现的模式足够稳定，可以冻结成固定的**配方**并在无需进一步搜索的情况下复用。使用这个配方，我们展示了一个“更大但更小”的机制：一个1.82平均位宽的1.31亿参数模型在TinyStories上达到验证困惑度4.2，**击败**了55M FP16模型（PPL 4.4），同时使用的存储空间少了3.8倍；同样的配方让一个在FineWeb-Edu上的14.6亿参数模型匹配了593M FP16对照模型，存储空间减少了约3.7倍（参数多了2.5倍，占用的空间小了约3.7倍）。以质量每字节衡量，VBQ比FP16高效3.9–8.4倍。关键是，该配方直接映射到打包的低位存储，因此它也**加速推理**：通过自定义融合反量化-乘内核，受内存带宽限制的自回归解码在同等输出时更快，并且由于该收益由带宽驱动，加速比随规模**增长**（在Apple silicon上：1.31亿时持平，10亿时1.9倍，90亿时4.7倍）。我们用分布分析（KL散度和argmax翻转率）补充了困惑度，揭示了一个显著机制：深层逐步**自我修复**早期层注入的量化误差。我们诚实地界定了方法的适用范围：它的胜利是一种从头开始、训练时的现象，将搜索经济地扩展到15亿参数以上以及将其适应预训练检查点仍是开放问题。VBQ将精度重新定义为一种可学习、非均匀的资源，并表明在固定比特预算下不均匀地花费比均匀花费有实质性的好处。

## 1 引言

在内存预算紧张的情况下部署大型语言模型（LLM）的主要杠杆是量化：将权重存储为低于16位。几乎所有部署方案（如GPTQ [13 (https://arxiv.org/html/2607.02893#bib.bib13)] 和 AWQ [18 (https://arxiv.org/html/2607.02893#bib.bib18)] 等后训练方法，以及 BitNet [34 (https://arxiv.org/html/2607.02893#bib.bib34), 21 (https://arxiv.org/html/2607.02893#bib.bib21)] 等量化感知训练）都为（几乎）所有权重固定了**单一**位宽。那些确实变化位宽的方案仍然通过预定规则而非学习来固定分配。生产工具链，如Unsloth的动态GGUF量化 [33 (https://arxiv.org/html/2607.02893#bib.bib33)] ，在逐层、后训练的启发式下将关键层保持为更高精度；NVIDIA的NVFP4 [23 (https://arxiv.org/html/2607.02893#bib.bib23)] 更精细，通过16元素微块在张量内部混合精度（并保留少数精心挑选的层用于更高精度），既用于后训练量化也用于4位预训练 [24 (https://arxiv.org/html/2607.02893#bib.bib24)] 。在每种情况下，位分配都遵循固定格式或启发式；它不是优化在训练期间**学习**的逐组选择。

这是一个方便但次优的建模选择。LLM中的权重并非同等重要：注意力输出投影能容忍激进的压缩，而第一个前馈块和少数频繁出现的输出词汇行则要敏感得多。一种能够在细粒度上、由优化本身决定在需要的地方分配比特的方法，应该在质量/规模前沿上支配任何均匀分配。

第二个观察结果激励了**多少**精度是真正需要的，并且正是这项工作的出发点。在生产神经检索中，压缩Algolia搜索栈 [29 (https://arxiv.org/html/2607.02893#bib.bib29)] 中嵌入向量的神经哈希最初在FP32向量上训练，并将其压缩约10倍，达到每维度约3.2位，而排名质量（nDCG）的变化小于嵌入模型本身的噪声；后来我们放宽到4位，但将比特数**压到**这个范围以下会导致质量快速下降。我们曾将其视为一个实用经验法则：训练好的表示每个值似乎携带约3–4个有用的比特，这是我们在生产中达到的极限，并且此后在LLM文献中反复出现。Apple的端侧基础模型是同一极限的独立、生产规模的证据：它压缩到一个**混合**2-/4位方案，平均每权重3.7位，以**匹配**未压缩模型（并且3.5位无显著质量损失）[1 (https://arxiv.org/html/2607.02893#bib.bib1)] 。同样的阈值在Dettmers和Zettlemoyer [6 (https://arxiv.org/html/2607.02893#bib.bib6)] 的k位推理缩放定律中再次出现，他们发现4位是Pareto最优。最大的部署者要么仍在为16位权重付出代价，要么接受有损量化，但一个精心混合的方案达到约4位而无可测质量损失，这使机会变得具体：显然存在空间在4位附近无损运行；悬而未决的问题是**如何**达到那里。我们将跨检索、端侧LLM和缩放定律分析的这一收敛解读为一个经验下限：每个值低于约3.5–4位时，信息确实会丢失。VBQ的“更大但更小”结果与该下限一致，但关于**如何**达到它有一个关键转折。达到下限的方式**不是**将每个权重四舍五入到四位：统一4位量化强制对从未为此训练过的权重进行有损近似。而是**不同地**花费可比的总预算：将其分布在更多、更低精度的权重上（在我们的配方中，平均约1.8位），使网络学习一个原生生活在低位上的表示。信息预算得以保存；变化的是布局，并且如我们所示，布局是决定性的。

我们提出了**可变位宽量化**（VBQ）。每64个连续权重的组被赋予一个涵盖候选位宽 \{1,2,4,8\} 的类别变量，通过Gumbel-Softmax [16 (https://arxiv.org/html/2607.02893#bib.bib16), 22 (https://arxiv.org/html/2607.02893#bib.bib22)] 松弛使其可微。核心困难在于交叉熵梯度流过量化器时，其幅度超出比特预算惩罚两到三个数量级，使精度logits冻结在其初始化处。我们通过两个设计选择解决了这个问题：**梯度隔离**（在计算比特选择路径时分离重建权重，使得交叉熵无法反向传播到精度logits）和**交替优化**（权重步长和精度步长交错进行，类似于DARTS [19 (https://arxiv.org/html/2607.02893#bib.bib19)] 的精神）。这两者共同使logits真正移动并承诺下来。

我们的关键实证发现是：

1.  **一个可学习、异构的精度层级出现**（第5.1节 (https://arxiv.org/html/2607.02893#S5.SS1)）。网络驱动69%的组到1位，并为少数保留4/8位，产生1.78位的平均值。分配在投影类型内部是异构的，这在结构上对于逐层混合精度方法是不可能的。
2.  **配方是产物，而非搜索**（第3.4节 (https://arxiv.org/html/2607.02893#S3.SS4)）。位分配在训练约20%时锁定；将它们冻结成一个固定配方（均匀2位块、一个4位块和平均1.18位的频率分层语言模型头）在部署时无需Gumbel机制即可再现自适应结果。
3.  **更大但更小**（第5.2节 (https://arxiv.org/html/2607.02893#S5.SS2)）。一个1.82位的1.31亿模型（29 MB）在困惑度上**击败**了55M FP16模型（109 MB），同样的配方让一个14.6亿模型（参数多2.5倍）在FineWeb-Edu上匹配593M FP16对照模型，存储空间减少约3.7倍。
4.  **深度自我修复量化误差**（第5.3节 (https://arxiv.org/html/2607.02893#S5.SS3)）。KL散度分解表明，早期4位块注入的表征差距被后续2位块逐步减小；跨深度与FP16相比的每位置argmax翻转率从71%单调下降至28%。
5.  **压缩在推理时是真实的**（第6节 (https://arxiv.org/html/2607.02893#S6)）。该配方映射到打包的 \{1,2,4,8\} 位存储，我们的融合反量化-乘内核直接消费，从不实例化FP16权重。由于自回归解码受内存带宽限制，存储优势转化为速度优势，并随模型规模增长：在Apple silicon上，从1.31亿时持平到90亿时解码快4.7倍，且比特级完全一致。

VBQ的优势是一种**从头开始、训练时的**现象，而不是压缩任意预训练检查点的免费午餐；我们在第7节 (https://arxiv.org/html/2607.02893#S7) 中明确了这一范围并报告了相关的开放问题（主要是将搜索经济地扩展到15亿参数以上）。

## 2 相关工作

#### 低位和三元 LLM。

BitNet [34 (https://arxiv.org/html/2607.02893#bib.bib34)] 和 BitNet b1.58 [21 (https://arxiv.org/html/2607.02893#bib.bib21)] 从头开始训练具有1位/三元权重的变换器，在所有地方固定相同精度。ParetoQ [20 (https://arxiv.org/html/2607.02893#bib.bib20)] 统一了1到4位的QAT，并发现大部分训练预算最好在全精度中花费，然后进行简短的低位微调，这与我们纯粹从头开始的QAT不同。低位模型在部署前沿也获得了关注：Bonsai系列 [26 (https://arxiv.org/html/2607.02893#bib.bib26)] 发布了开源权重的1位和三元（1.58位）模型，参数高达8.8B，在端侧推理中报告了强的每字节准确率，这是通过对单个**统一**低位格式进行量化感知训练获得的。我们将其视为对“更大但更小”机制真实需求的证据；VBQ的不同之处在于**学习**了一个异构的逐组分配，其中均匀预算是一个特例，因此成功学到的非均匀分配只能在相同字节数下匹配或改进均匀分配（我们未尝试正面比较，因为规模、分词器和评估套件不同）。VBQ与所有这些都不同，因为位宽不是全局常数，而是逐组学习的量。

#### 后训练量化（PTQ）。

GPTQ [13 (https://arxiv.org/html/2607.02893#bib.bib13)]、AWQ [18 (https://arxiv.org/html/2607.02893#bib.bib18)]、SmoothQuant [37 (https://arxiv.org/html/2607.02893#bib.bib37)]、QuIP# [32 (https://arxiv.org/html/2607.02893#bib.bib32)] 和 AQLM [10 (https://arxiv.org/html/2607.02893#bib.bib10)] 使用校准数据、二阶信息或学习到的码本压缩已训练的模型。LLM.int8() [7 (https://arxiv.org/html/2607.02893#bib.bib7)] 通过固定阈值将少数异常通道保持为更高精度。生产工具链在这个PTQ方案中越来越多地提供**逐层**动态混合精度：Unsloth的动态GGUF量化 [33 (https://arxiv.org/html/2607.02893#bib.bib33)] 通过重要性启发式将关键层保持为更高精度，同时将剩余层推至低位宽：这是VBQ在训练期间学习的逐组分配的后训练、逐张量类比。这些与VBQ互补：它们在训练**之后**以（大部分）固定的逐层位宽运行，而我们在训练期间以逐组粒度学习分配。

#### 混合精度搜索。

为CNN学习或搜索逐层位宽已有充分研究：HAQ [35 (https://arxiv.org/html/2607.02893#bib.bib35)]（RL）、HAWQ [8 (https://arxiv.org/html/2607.02893#bib.bib8)]（Hessian），以及可微的DNAS / EdMIPS系列 [36 (https://arxiv.org/html/2607.02893#bib.bib36), 3 (https://arxiv.org/html/2607.02893#bib.bib3)]。对于LLM，MixLLM [38 (https://arxiv.org/html/2607.02893#bib.bib38)] 和 SliM-LLM [15 (https://arxiv.org/html/2607.02893#bib.bib15)] 跨输出特征或组分配精度，但作为**后训练**显著性启发式。最接近精神的是Wu等人 [36 (https://arxiv.org/html/2607.02893#bib.bib36)] 的可微、基于Gumbel的CNN搜索；VBQ将这一思想带入仅解码器LLM，在**逐组**（64权重）粒度下，使用梯度隔离和交替优化，这在训练时选择在此规模下工作是必要的。据我们所知，没有先前工作为LLM在训练期间联合学习逐组位宽。

#### 可微量化的并行工作。

最近的两篇论文在后训练设置中将可微离散松弛应用于LLM精度，并明确了VBQ的独特之处。GSQ [5 (https://arxiv.org/html/2607.02893#bib.bib5)] 使用Gumbel-Softmax松弛联合学习已训练模型的每坐标标量网格分配和每组缩放，匹配格码量化精度，同时保持部署友好的标量格式；它优化的是逐层重建损失而非任务损失，并且选择网格点而非2的幂次位宽。dMX [12 (https://arxiv.org/html/2607.02893#bib.bib12)] 通过连续偏移退火到离散格式来学习**逐层**浮点（OCP MX）格式。VBQ在三个轴上是互补的：它在**逐组**（64权重）粒度下学习**整数**位宽，**从头开始**针对任务损失，并将结果提炼成一个固定配方；三者共同的教训是退火可微松弛是使离散精度决策可训练的有效方式。

#### 缩放定律和实际精度下限。

Kumar等人 [17 (https://arxiv.org/html/2607.02893#bib.bib17)] 和 Cao等人 [4 (https://arxiv.org/html/2607.02893#bib.bib4)] 形式化了参数数量如何与精度权衡，Dettmers和Zettlemoyer [6 (https://arxiv.org/html/2607.02893#bib.bib6)] 研究了k位推理缩放，发现4位是Pareto最优。这个约4位的机制在生产中得到了证实：Apple的端侧基础模型 [1 (https://arxiv.org/html/2607.02893#bib.bib1)] 压缩到一个**混合**2-/4位方案，平均每权重3.7位，匹配未压缩模型（且3.5位无显著质量损失），这是一个恰好落在也激励VBQ的精度下限上的已部署混合精度系统（第3节 (https://arxiv.org/html/2607.02893#S3)）。硬件也在收敛到同一机制：NVIDIA的NVFP4 [23 (https://arxiv.org/html/2607.02893#bib.bib23)] 是一种4位浮点格式，具有两级微块缩放...