PrismQuant：针对分组量化器的最优零空间旋转

Hugging Face Daily Papers 2026/09/26 00:00 论文

quantization ai-optimization model-compression int4 grouped-quantizers efficient-inference machine-learning

摘要

PrismQuant引入了一种量化感知旋转框架，将激活特征空间与分组INT4量化器对齐，在Llama和Qwen等大语言模型上实现了最先进的性能，并显著提升了推理速度。

较小的激活离群值并不一定意味着更好的低比特量化：它们与量化器的对齐性更为重要。我们提出了PrismQuant，一种量化感知旋转框架，它将主激活特征空间与非对称分组INT4的常数子空间对齐。仿射偏移表示该子空间中的能量，而不会扩大组内范围。我们将旋转设计表述为Ky Fan迹最大化问题，并推导出一个闭合式解，该解在该对齐目标上可证明是最优的。紧凑的Householder变换及其紧凑-WY表示实现了无梯度构建，并可在折叠和在线站点高效应用。预测范围定律进一步将未对齐的激活能量和组大小与量化相关变异联系起来。在Llama、Qwen和Mistral上的实验涵盖了高达700亿参数的密集模型和一个300亿参数的混合专家模型。在W4A4KV4配置下，PrismQuant在Llama-3.2-3B上在困惑度和准确率方面均为比较方法中的最先进水平。在Llama-3.1-70B上，它达到了3.85的困惑度和72.46%的平均零样本准确率，仅比全精度低0.22个百分点。在Llama-3.1-8B的部署研究中，我们优化的实现相比匹配的FP16基线实现了1.51倍的预填充和1.22倍的CUDA图解码加速，解码峰值内存降低了56.34%，并且与Hadamard相比，图解码延迟仅增加了2.35%。代码可在 https://github.com/ForeverBlue816/PrismQuant 获取。

查看原文

查看缓存全文

缓存时间: 2026/09/30 04:15

论文页面 - PrismQuant：分组量化器的最优零空间旋转

来源：https://huggingface.co/papers/2609.32429

摘要

较小的激活异常值并不必然意味着更好的低比特量化效果：它们与量化器的对齐程度至关重要。我们提出PrismQuant，这是一个量化器感知的旋转框架，能将激活的主要特征空间与对称分组INT4的常数群子空间对齐。仿射偏移量表示该子空间中的能量，而不会扩大组内的量化范围。我们将旋转设计问题表述为Ky Fan迹最大化问题，并推导出一个针对该对齐目标可证明最优的闭式解。紧凑型Householder变换及其紧凑型WY表示法支持无梯度构建，并可在折叠式和在线站点进行高效应用。一种预测范围法则进一步将未对齐的激活能量、组大小与量化相关变异性联系起来。实验涵盖了Llama、Qwen和Mistral系列的密集模型（最高70B参数）以及一个30B的混合专家模型。在W4A4KV4设置下，PrismQuant在所比较的方法中，在Llama-3.2-3B模型上实现了困惑度和准确率的最优水平。在Llama-3.1-70B上，它达到了3.85的困惑度和72.46%的平均零样本准确率，仅比全精度低0.22个百分点。在Llama-3.1-8B的部署研究中，我们优化的实现相比匹配的FP16基线，预填充阶段实现了1.51倍加速，CUDA图解码实现了1.22倍加速，解码峰值内存降低了56.34%，且相比Hadamard方法仅增加了2.35%的图解码延迟。代码开源于 https://github.com/ForeverBlue816/PrismQuant。

查看arXiv页面 (https://arxiv.org/abs/2609.32429)查看PDF (https://arxiv.org/pdf/2609.32429)GitHub1 (https://github.com/ForeverBlue816/PrismQuant)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.32429)

通过智能体获取此论文：

hf papers read 2609.32429

没有最新版CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型5

ForeverBlue/PrismQuant-Llama-3.2-3B 文本生成• 约13小时前更新 (https://huggingface.co/ForeverBlue/PrismQuant-Llama-3.2-3B)

ForeverBlue/PrismQuant-Llama-3.1-8B 文本生成• 约13小时前更新 (https://huggingface.co/ForeverBlue/PrismQuant-Llama-3.1-8B)

ForeverBlue/PrismQuant-Qwen3-Base 文本生成• 约13小时前更新 (https://huggingface.co/ForeverBlue/PrismQuant-Qwen3-Base)

ForeverBlue/PrismQuant-Llama-3.1-70B 文本生成• 约13小时前更新 (https://huggingface.co/ForeverBlue/PrismQuant-Llama-3.1-70B)

浏览5个引用此论文的模型 (https://huggingface.co/models?other=arxiv:2609.32429)

引用此论文的数据集0

无关联此论文的数据集。在数据集README.md中引用 arxiv.org/abs/2609.32429 以从本页面关联。

引用此论文的Spaces0

无关联此论文的Space。在Space README.md中引用 arxiv.org/abs/2609.32429 以从本页面关联。

包含此论文的收藏0

无包含此论文的收藏。将此论文添加到收藏 (https://huggingface.co/new-collection) 以从本页面关联。

相似文章

KLQ: Training-free measured rotation quantization. Beats all training-free rotation-based quantization methods on W4A4KV4-bits. Llama 3.2 1B KLQ-quantized beats SpinQuant and gets close to ReSpinQuant without GPTQ/LDLQ rounding.

Reddit r/LocalLLaMA

KLQ is a training-free LLM quantization method that allocates bits per direction based on measured KL divergence, outperforming existing training-free rotation-based methods on W4A4KV4-bit settings for models like Llama 3.2 1B and Qwen 2.5.