大逆转与格式协同设计：LLM量化的线性变换

# 大型语言模型量化的变换：大反转与格式协同设计
来源：https://arxiv.org/html/2608.25188
###### 摘要
目前大多数有竞争力的4位大型语言模型研究流程都以相同的方式开始：应用一个线性、保函数变换（旋转、缩放、排列或非正交仿射映射），使离群值质量更有利于组缩放，然后才进行舍入。然而，我们了解到，尚无专门针对这个*变换阶段*的综述，而其文献正在悄然重新推导一个更古老的理论。我们识别并形式化了组织这一阶段的原则，即*大反转*：灵活分配的编码奖励能量*集中*，而部署的矩阵指令所执行的分组共享缩放量化奖励*组内平坦化*。我们证明了在组内优超性下的对立，并解释了为什么对于通用频谱，没有任何最优性保证能跨越这一鸿沟。借此，我们综述了截至2026年6月的200篇工作，按结构、数据感知性、搜索与构建、运行时成本对43种变换方法进行分类，并在来源有报告的情况下记录了这些方法家族如何与GPTQ类舍入方法组合。追溯这一方案至1963年的变换编码（去相关、分配比特、量化），我们围绕分配与缩放约束来组织它们，而那些经典最优性假设忽略了这些约束。经典编码器是*灵活分配*的，在固定总速率下为每个坐标分配不同的比特数，对于高码率下的高斯源，正是K-L变换的*集中性*最小化了失真。部署的矩阵指令所消耗的操作数切片则携带每个组的绝对最大缩放值和所有位置相等的比特数，完全没有分配，并且在均匀网格上，该目标奖励*平坦化*，可通过Hadamard不相关性近似实现而无需校准；不同的随机AbsMax模型的最优解更进一步，增加了数据感知的、非正交的白化，这是任何旋转都无法提供的。这两个代理量在组内序的两端取极值，因此其处方指向相反方向，各自都有针对自身目标的证明支持。第二个轴，即数字格式，进一步细化了图像。非均匀FP4元素网格使得平坦化的收益减少，在*理想*浮点网格上，旋转甚至可能带来损失，因为它破坏了有利的权重-激活反对齐；部署的MXFP4格式则走向另一方向，其2的幂次块缩放仍然奖励限制在该块内的旋转，而NVFP4的尾数携带缩放则基本消除了这种拉力。因此，变换应瞄准哪个极点是分配机制和格式的联合函数；优超代理量确定极点，而非变换本身。我们记录了一个对比但未加解释：在MXFP4上，*固定*全局旋转的效果很差，而块限制的旋转则有帮助。我们基于已发布的头对头数据来为这一叙述提供依据，在“一个比较一个协议”的原则下逐字转录，并标记跨源展示的情况；提炼了一个按部署机制索引的首选指南；最后以反转所暴露的开放性问题作为结束。
## 1 引言
为大型语言模型提供服务的成本主要由移动和乘以其权重的开销主导。在关注的批大小和序列长度下，自回归解码是内存受限的。每个生成的token都必须将整个权重矩阵流经算术单元，因此延迟和能耗与读取的字节数成正比。训练后量化直接针对这一点，通过将权重存储在四位或更少的比特数中，减少了内存受限解码期间的读取字节数。同时对激活进行量化则带来了一个独特的好处，因为四位操作数馈送给低精度张量核心，其吞吐量主导了计算受限的预填充和大批次模式。因此，W4A4同时受到两个轴的驱动：带宽和计算。由于PTQ无需训练，且只需要少量校准集，它已成为高效部署的默认途径。前沿技术稳步下移：从W8A8到仅权重的W4A16，再到激进的W4A4模式，其中每个矩阵乘法的两个操作数都是4位。在这个比特宽度下的障碍不是平均权重或激活，而是一小部分极端值。特别是Transformer激活，携带着稀疏的、大幅度*离群值*（这一现象首先由Dettmers等人(2022) (https://arxiv.org/html/2608.25188#bib.bib38)在大规模上发现）。权重矩阵相对温和但依然不平坦。无论哪种情况，低位量化器都在整个值组上共享单个缩放值。每个值都有一个独立的完整精度缩放值将意味着没有压缩。该共享缩放值固定为该组的最大幅度。因此，一个离群值会拉伸动态范围，并迫使其组内的每个普通值落到粗糙的网格上。量化误差随后由典型幅度决定，而非由极端值与典型值的比率决定（即*波峰因子*，在第2.3节(https://arxiv.org/html/2608.25188#S2.SS3)中精确定义）。这个比率是分隔舒适的8位量化与困难的4位量化模式的壁垒。仅仅将校准预算用于更好的舍入(Frantar等人, 2023 (https://arxiv.org/html/2608.25188#bib.bib51))并不能消除它，因为动态范围是表示的属性，而非舍入的属性。解锁W4A4的想法不是直接处理离群值，而是在舍入之前改变量化发生的*坐标*。一个更简单的路径似乎显而易见：将离群值通道保持在更高精度，如Dettmers等人(2022) (https://arxiv.org/html/2608.25188#bib.bib38)的混合精度方案。值得注意的是，该领域并未将其作为主流路线。免除少数值使用低位网格意味着放弃了统一的密集GEMM，因为离群值列随后需要单独的高精度路径或定制的稀疏内核。一个持久的少数派路线（贯穿第6节(https://arxiv.org/html/2608.25188#S6)、7节(https://arxiv.org/html/2608.25188#S7)和9节(https://arxiv.org/html/2608.25188#S9)）确实付出了这个代价。制胜之举是保持密集低位内核，转而重新分配离群值能量。由于线性层Y=XW⊤通过插入一个可逆映射及其逆映射保持不变，即Y=(XT⊤)(WT-1)⊤，可以应用一个*保函数变换*T来重新分配离群值。理想情况下，它将每个组的质量均匀地分散到其坐标上，这样没有单个条目主导共享缩放值。这样的T，当它是残差流的正交映射或对角映射时，会吸收到周围的权重中，推理成本为零；任何映射侧落在静态权重上的映射也是如此；其余的保持在线。随机旋转，通过随机化Hadamard变换低成本实现，可证明地将一个尖峰、充满离群值的向量转变为一个坐标呈次高斯分布且波峰因子小得多的向量，从O(√d)到O(√(log d))（第2.6节(https://arxiv.org/html/2608.25188#S2.SS6)）。该层计算相同的函数，但作用在4位网格能够表示的分布上。这种“变换后舍入”的配方现在是大多数有竞争力的低位流程的首选步骤，也几乎是所有量化激活的流程的首选。QuaRot (Ashkboos等人, 2024c (https://arxiv.org/html/2608.25188#bib.bib10))通过Hadamard矩阵旋转残差流，这些矩阵折叠到相邻权重中，从而在不改变输出的情况下消除激活离群值；SpinQuant (Liu等人, 2025c (https://arxiv.org/html/2608.25188#bib.bib96))学习旋转而非固定它；QuIP# (Tseng等人, 2024a (https://arxiv.org/html/2608.25188#bib.bib155))将诱导不相关性的旋转与网格码本配对；FlatQuant (Sun等人, 2025 (https://arxiv.org/html/2608.25188#bib.bib150))使用学习到的仿射映射；WUSH (Chen等人, 2026a (https://arxiv.org/html/2608.25188#bib.bib20))推导了一个闭式、数据感知的变换，在随机AbsMax模型下具有最优性保证。这些方法在几乎所有的后续环节上（码本、舍入算法、变换是固定的还是学习的）都有所不同，但它们共享这个第一阶段。在激进的低位模式下，这个阶段往往是决定性的，其重要性不亚于舍入器的选择。图1(https://arxiv.org/html/2608.25188#S1.F1)端到端展示了该流程（变换打开的离线构建，以及它必须承受的在线数据路径），并预览了后续各部分处理的位置。这个配方是研究文献所依赖的，而发布的模型比这个词组所暗示的划出了一条更清晰的界线。在4位*权重*路径上，2025-2026年的前沿混合专家发布版完全不使用变换，而是依赖于逐组缩放、受保护的敏感张量集合，以及训练时控制（在卡报告的情况下是量化感知训练）；相同比特宽度的一方发布的AWQ和SpinQuant-旋转版本则包含变换，因此发布的权重路径是分裂的而非统一的。发布的4位*激活*路径在块缩放上产生分歧：进行旋转的那个，恰恰是在定理2.17(https://arxiv.org/html/2608.25188#S2.Thmtheorem17)和命题2.2(https://arxiv.org/html/2608.25188#S2.Thmtheorem2)不提供任何可折叠进去的东西的地方；而NVFP4发布版则以组大小16量化激活，没有提及旋转。因此，变换阶段在生产中尚未普及，尽管第4节(https://arxiv.org/html/2608.25188#S4)的共享缩放理论也涵盖了权重路径；第10.5节(https://arxiv.org/html/2608.25188#S10.SS5)列出了证据。

校准激活统计 HX=X⊤X
变换T 精简基 QuaRot, FlatQuant
格式网格与缩放 MXFP4, NF4
舍入误差反馈 GPTQ, Qronos
打包权重++缩放，折叠T-1
Xl X_{ℓ}隐藏状态
在线变换XT⊤
Hadamard核心激活量化（逐组）GG
低位GEMM++反量化 QServe, QUIQ
KV与注意力 QK⊤, PV QK^⊤, PV KVQuant, SageAtt
部署边界 激活侧XT⊤
离线（构建一次） 在线（每个token）

图1：所综述方法组装的低位训练后量化流程，作为一个双车道泳道图。
*顶部（离线，构建一次）：*校准激活统计 -> 构建一个保函数*变换*T（第6节(https://arxiv.org/html/2608.25188#S6)）-> 确定目标*网格/格式*（第8节(https://arxiv.org/html/2608.25188#S8)）并进行误差反馈*舍入*，将变换后的权重舍入其上（第7节(https://arxiv.org/html/2608.25188#S7)）-> 打包静态低位权重。
*底部（在线，每个token）：*部署的数据路径（第10节(https://arxiv.org/html/2608.25188#S10)）。
变换跨越了*部署边界*（虚线，第2.8节(https://arxiv.org/html/2608.25188#S2.SS8)）：其权重侧WT-1离线折叠到打包权重中（定义2.1(https://arxiv.org/html/2608.25188#S2.Thmtheorem1)），而其两侧中只有激活侧XT⊤穿越它（虚线箭头），到达一个在线内核，除非它也可以被吸收（定理2.17(https://arxiv.org/html/2608.25188#S2.Thmtheorem17)和2.2(https://arxiv.org/html/2608.25188#S2.Thmtheorem2)）。代表性的方法按阶段列出。
尽管具有核心地位，但我们了解到，尚无专门针对变换阶段的综述。广泛的低位LLM综述将其视为众多技术之一。例如，Gong等人(2024) (https://arxiv.org/html/2608.25188#bib.bib57)编目了整个量化栈的系统和算法，将等价变换作为一个小节，细分为移位、缩放和旋转。最接近的相关工作也未深入其中。Czakó等人(2025) (https://arxiv.org/html/2608.25188#bib.bib34)的PRISMA系统综述将“等价变换”纳入一个四路目录的激活离群值缓解方法中，内容冻结于2025年初。Liu等人(2025b) (https://arxiv.org/html/2608.25188#bib.bib95)将已发布的PTQ流程解耦为正好两个阶段（预量化变换和误差缓解），并在一个统一的协议下对INT4、MXFP4和NVFP4进行基准测试，这是一个受控的变换阶段实证比较，对方法进行排名，而非将该族系置于某个原则之下组织。这三者都没有提供最优性理论，也没有建立与我们此处所阐述的经典谱系的联系。缺失的是一个处理方式，能够将快速增长的变换族系（对角缩放、排列、固定和学习旋转、非正交映射）置于单一原则下组织，收集解释变换何时及为何有帮助的零散最优性结果，并追溯该思想的起源。因为“变换后舍入”的配方并非新事物：它是六十年历史的*变换编码*（去相关、分配比特、量化）为神经网络权重重新推导的结果。我们所构建对比的两半，各自都是既定的：对于高码率下的高斯源，能量*集中*是经典变换编码的最优解(Goyal, 2001 (https://arxiv.org/html/2608.25188#bib.bib59); Huang & Schultheiss, 1963 (https://arxiv.org/html/2608.25188#bib.bib74))（需注意第3.4节(https://arxiv.org/html/2608.25188#S3.SS4)的说明），而能量*平坦化*（不相关性）限制了代理量化误差(Chee等人, 2023 (https://arxiv.org/html/2608.25188#bib.bib19))，并且是在AbsMax共享缩放模型下的最优方向(Chen等人, 2026a (https://arxiv.org/html/2608.25188#bib.bib20))，也就是Ashkboos等人(2024c) (https://arxiv.org/html/2608.25188#bib.bib10)所部署旋转采用的方向。阅读现代文献并与经典理论对照所揭示的是（据我们所知，这一点尚未被明确指出），两者是*同一个*优化在相反机制下的运行，部署的共享缩放最优解正是经典解的反转。这个反转是我们的组织原则，其一阶驱动因素是一对被操作数切片同时移除的自由度：下游量化器是否可以按坐标分配比特（这是使集中性*严格*最优的原因），以及每个坐标是否携带自己的缩放值（这是在均匀网格上，一旦分配被移除后，使平坦化严格最优的原因）。在每个坐标的速率相同、每个坐标有独立缩放值，并且量化器形状在所有坐标上保持恒定（如高斯源）的情况下，任何正交变换都是等价的（第4.1节(https://arxiv.org/html/2608.25188#S4.SS1)）；正是共享缩放打破了这一平局。*灵活分配*的量化器（在固定总速率下，通过不平等的确定性分配或熵编码，为不同坐标分配不同比特数）奖励那些将能量*集中*到少数坐标上的变换。这就是经典变换编码，在这些条件下其最优解是K-L变换（第3节(https://arxiv.org/html/2608.25188#S3)）。而*共享缩放*量化器（每个组一个绝对最大缩放值，所有位置比特数相等，没有分配）则奖励那些在均匀元素网格上将能量*平坦化*到坐标上的变换。部署的低位LLM内核的密集GEMM在这个意义上都是共享缩放的，尽管在部署的4位格式中，只有逐组INT4网格是均匀的（第4节(https://arxiv.org/html/2608.25188#S4)）。这种平坦化可以通过Hadamard变换近乎最优地实现，而一个不同