SharQ：连接激活稀疏性与FP4量化以优化大语言模型推理

# SharQ: 弥合激活稀疏性与FP4量化之间的鸿沟，用于大语言模型推理
来源：https://arxiv.org/html/2606.26587
Haoqian Meng1,∗Yilun Luo1,∗Yafei Zhao1,∗Wenyuan Liu1 Huaqing Zheng1Xindian Ma1Peng Zhang1,† 
1天津大学计算机科学与技术学院 
∗同等贡献。
†通讯作者。

###### 摘要
低比特浮点格式和半结构化稀疏性在现代加速器上的支持日益增强，但将它们结合用于大语言模型（LLM）激活压缩仍然具有挑战性：激活值中包含输入相关的异常值，这些异常值主导了FP4量化中的块缩放因子；直接应用N:M稀疏掩码会丢弃中等大小的值，从而将稀疏化损失与量化误差耦合在一起。我们提出SharQ，一种无需训练的推理方法，通过在线稀疏-稠密分解来弥合激活稀疏性和FP4量化之间的鸿沟。对于每个激活张量，SharQ生成一个输入自适应的N:M掩码，提取出一个以异常值主导的稀疏主干，将其量化到FP4，并定义一个相对于量化后稀疏主干（而非未量化的稀疏值）的稠密残差。一个稀疏FP4 GEMM处理主干，同时一个稠密FP4 GEMM补偿掩码引起的激活损失和稀疏路径的量化误差。两条路径共享一个FP4权重负载，并具有路径特定的缩放视角，一个融合的预处理内核将掩码生成、残差构建和层归一化吸收到一个算子中。SharQ无需校准数据、重训练或模型特定调优。在Llama-3.1-8B、Qwen2.5-7B、Qwen3-30B-A3B和Qwen3-VL-8B上评估，SharQ在语言和视觉-语言任务中恢复了NVFP4到FP16精度差距的43-63%，并泛化到NVFP4、HiF4和MXFP4格式。在RTX 5090上，与FP16相比，SharQ在语言模型服务中实现了2.2–2.4倍的延迟降低和1.2–1.4倍的吞吐量提升，与FP8相比；当与SageAttention结合时，在Wan2.2-T2V-A14B视频生成上实现了高达1.58倍的加速。我们的代码可在https://github.com/actypedef/SharQ获取。

## 1 引言
大语言模型推理主要由线性层主导。随着模型规模和推理需求的持续增长，降低矩阵乘法的成本已成为一个核心系统问题。低比特浮点格式和半结构化稀疏性是两种日益实用的方向，因为它们不再仅仅是算法层面上的压缩技术，而是作为硬件执行路径暴露出来。块缩放FP4格式（如NVFP4、MXFP4和HiF4）在提高计算密度的同时保留了类似浮点数的动态范围；N:M半结构化稀疏性能在现代Tensor Core上实现稀疏矩阵乘法（NVIDIA Corporation, 2024a；Darvish Rouhani et al., 2023a, b；Luo et al., 2026；Nvidia, 2024）。这些趋势为LLM推理指明了一个有吸引力的目标：将FP4量化与硬件支持的稀疏计算结合起来。

然而，将FP4量化应用于激活仍然困难。与权重不同，激活依赖于输入，并且通常包含少量幅值巨大的异常值（Dettmers et al., 2022；Sun et al., 2024a, b）。由于块缩放FP4量化从每个块中的最大值选择局部缩放因子，这些异常值会主导缩放因子，从而降低普通激活值可用的有效精度。先前关于LLM量化的工作，包括LLM.int8()、SmoothQuant、AWQ、GPTQ、OmniQuant、QuaRot和SpinQuant，从不同角度表明异常值和激活分布是低比特推理的核心障碍（Dettmers et al., 2022；Xiao et al., 2024；Lin et al., 2024；Frantar et al., 2023；Shao et al., 2024；Ashkboos et al., 2024；Liu et al., 2024）。混合精度或异常值感知的路径可以减少这种误差，但它们通常引入额外的存储、不规则的数据移动或额外的内核，这对于FP4执行管线来说吸引力较小。

激活稀疏性提供了一个诱人的替代方案。在许多LLM层中，最大的激活值是稀疏的，并且承载了不成比例的输出贡献。这表明可以将这些大值路由到一条稀疏路径，并利用N:M稀疏Tensor Core指令。然而，在无需训练的设置中，直接的激活稀疏化损失过大。与权重稀疏方法（如SparseGPT和Wanda（Frantar and Alistarh, 2023；Sun et al., 2024c））不同，后者的掩码可以离线优化或校准，激活掩码必须在当前输入上在线生成。此外，面向推理的激活稀疏方法（如DejaVu和PowerInfer（Liu et al., 2023；Song et al., 2024））通常依赖于粗粒度预测或路由，而细粒度的N:M激活掩码必须满足严格的硬件模式，并在关键路径上低成本生成。如果稀疏路径仅仅保留最大值并丢弃其余部分，许多中等大小的激活值就会丢失，导致显著的精度下降。

因此，困难不仅在于如何结合稀疏性与量化，还在于如何定义它们的角色。在一条稀疏FP4路径中，稀疏化在量化之前改变了局部值分布，然后FP4缩放因子从这个改变后的分布中选取。误差并非独立的稀疏化误差和独立的量化误差之和：两者是耦合的。一个有用的设计应保留稀疏FP4计算的硬件优势，同时保留不适合稀疏表示的激活信息。

我们提出SharQ，一种无需训练的推理方法，通过在线稀疏-稠密分解来弥合激活稀疏性和FP4量化之间的鸿沟。SharQ并不将激活分解本身视为创新点。相反，它使分解变得输入自适应、硬件有效且量化感知。对于每个激活，SharQ生成一个在线N:M掩码，提取出一个以异常值主导的稀疏主干。该主干被量化并由一个稀疏FP4 GEMM执行。然后SharQ定义一个相对于量化后稀疏主干（而非相对于未量化的稀疏值）的稠密残差。因此，残差既包含稀疏掩码之外的值，也包含稀疏FP4路径引入的量化误差。然后一个稠密FP4 GEMM将该残差累积到稀疏输出中。图1提供了该管线的概览。

![图1：SharQ概览。SharQ提取一个以异常值主导的N:M稀疏主干，构建相对于量化后稀疏主干的稠密残差，并通过共享FP4权重的稀疏和稠密FP4路径执行，通过高性能内核共同补偿稀疏化和量化误差。](https://arxiv.org/html/2606.26587/S1.F1)

这种设计有两个实际后果。首先，稀疏掩码由当前激活决定，因此SharQ不需要校准数据、微调或学习一个离线掩码。这有助于解释同一机制为何能适用于稠密解码器专用模型、混合专家模型、视频生成模型（如Wan2.2文本到视频（Wan et al., 2025））以及不同的FP4格式。其次，SharQ是围绕真实内核约束设计的：掩码选择、稀疏输入压缩和残差准备被融合；两条路径共享FP4权重负载，并具有路径特定的缩放视角；稠密残差路径直接累积到稀疏输出中。因此，SharQ不仅是一种激活近似策略，也是一种面向硬件的推理原语。

我们的贡献如下：
- •我们提出SharQ，一种无需训练的FP4推理方法，它将在线激活分解为一个N:M稀疏主干和一个稠密FP4残差。
- •我们相对于量化后的稀疏主干定义残差，使得稠密路径能够共同补偿掩码引起的激活损失和稀疏路径的FP4量化误差。
- •我们设计了一个高效的实现，包含融合的激活准备、共享的FP4权重及路径特定的缩放因子，以及基于累积的残差补偿，并在多种模型架构、FP4格式和推理设置上进行了评估。

## 2 相关工作

### 2.1 量化
训练后量化（PTQ）对于高效的LLM推理至关重要。早期工作将激活异常值识别为低比特的主要瓶颈：LLM.int8()（Dettmers et al., 2022）引入了混合精度分解，以INT8精度隔离异常值通道。此后，方法从多个互补角度取得了进展。

**基于变换的方法** 在量化前重塑激活分布以抑制异常值。SmoothQuant（Xiao et al., 2024）通过逐通道缩放将量化难度从激活迁移到权重，在INT8中证明有效。对于4比特场景，QuaRot（Ashkboos et al., 2024）和SpinQuant（Liu et al., 2024）应用正交旋转来扁平化值分布，而FlatQuant（Sun et al., 2025）和OSTQuant（Hu et al., 2025）进一步学习仿射或正交缩放变换，以更好地拟合有利于量化的分布。然而，最近的分析表明，全局变换可能破坏对细粒度格式（如NVFP4）至关重要的局部块统计信息（Shao et al., 2025），限制了它们在块缩放FP4场景下的有效性。

**混合精度方法** 以更高精度保留敏感信息。Atom（Zhao et al., 2024）和QUIK（Ashkboos et al., 2023）采用基于选择的策略，将一部分异常值通道保留在INT8或FP16，而对主体进行低比特量化。除了简单的通道选择，基于分解的方法如ResQ（Saxena et al., 2025）和SVDQuant（Li et al., 2024）将异常值提取到一个独立的高精度低秩分支中，将剩余主体部分保留在4比特。MicroMix（Liu et al., 2025）探索了在Blackwell架构上混合MXFP4与MXFP8，而FGMP（Hooper et al., 2025）提出了将NVFP4与FP8结合。然而，混合精度方法常常与统一精度的Tensor Core计算的硬件约束相冲突。

**基于补偿的方法** 通过优化最小化重构误差。GPTQ（Frantar et al., 2023）利用基于Hessian的优化来调整量化权重。OmniQuant（Shao et al., 2024）全方位校准量化参数。AWQ（Lin et al., 2024）利用激活统计信息来保护重要的权重通道。ARCQuant（Meng et al., 2026）专门针对NVFP4，通过用量化残差通道增强激活矩阵，在单个统一的GEMM调用中实现误差补偿。

尽管取得了这些进展，主流量化管线仍然将激活视为需要压缩的稠密张量。很少有工作将观察到的激活稀疏性作为专用的硬件加速计算路径与量化协同利用，留下了进一步加速推理的巨大潜力。

### 2.2 稀疏性
**权重稀疏性** 已在LLM压缩中得到了广泛研究。SparseGPT（Frantar and Alistarh, 2023）通过基于近似Hessian的重建，在大型LLM上实现了单次非结构化和半结构化（2:4, 4:8）剪枝。Wanda（Sun et al., 2024c）通过结合权重幅度和输入激活范数的剪枝准则简化了这一过程。这些方法学习或校准一个固定的掩码并离线重用，适用于静态权重压缩，但不适用于动态激活。

**激活稀疏性** 利用了大幅值激活是稀疏的并且承载着不成比例的输出贡献这一观察。DejaVu（Liu et al., 2023）采用上下文相关的预测来识别并跳过推理时低影响的神经元。PowerInfer（Song et al., 2024）利用神经元激活的局部性实现高效的GPU/CPU混合服务。然而，这些方法通常依赖于粗粒度或非结构化的稀疏模式，并且通常需要持续训练、预测模块或架构修改才能实现有意义的加速。

在线半结构化激活稀疏性，即SharQ采用的范式，仍然相对未被探索。虽然N:M半结构化稀疏性在硬件约束下已被广泛用于权重压缩，例如SparseGPT（Frantar and Alistarh, 2023）系统地在2:4和4:8结构约束下探索掩码优化，但它在激活侧的即插即用适配非常有限。关键挑战在于激活掩码必须以最小代价从当前输入在线生成，同时满足严格的硬件模式（例如，NVFP4的4:8成对模式）。直接应用动态N:M掩码通常会导致显著的精度下降，因为掩码外的中等激活值被丢弃。SharQ通过在线稀疏/稠密分解解决了这一问题，它将稀疏化视为路由而非丢弃，并通过稠密残差路径共同补偿掩码引起的损失和稀疏路径的量化误差。

### 2.3 细粒度数值格式与硬件支持
随着计算效率需求的日益增强，细粒度的低比特数值格式已成为LLM部署的标准范式。开放计算项目（OCP）微缩放（MX）规范（Darvish Rouhani et al., 2023b）定义了一种块共享的缩放表示，其中MXFP4以极细粒度平衡精度和存储。在硬件方面，NVIDIA Blackwell架构（Nvidia, 2024）原生支持FP4推理，涵盖NVFP4和MXFP4，在