KronQ: 基于Kronecker分解Hessian矩阵的大语言模型量化方法

arXiv cs.LG 2026/07/10 04:00 论文

post-training-quantization llm-compression second-order-optimization kronecker-factored-hessian mixed-precision large-language-models

摘要

KronQ是一种后训练量化框架，通过Kronecker分解的海森矩阵近似引入梯度协方差，实现了双向非相干处理和改进的混合精度分配灵敏度度量。即使在LLaMA-3-70B等大模型上进行2比特权重量化，也能实现低困惑度。

arXiv:2607.07964v1 公告类型：新摘要：后训练量化（PTQ）是一种广泛采用的技术，用于在不进行重新训练的情况下压缩大型语言模型（LLMs）。现有的二阶PTQ方法，包括GPTQ，仅从输入激活统计构建量化目标，实际上假设所有输出通道对逐层重建目标的贡献相等。我们提出KronQ，一种挑战这一假设的PTQ框架，通过将梯度协方差引入量化流水线。在Kronecker分解海森矩阵近似下，量化损失同时依赖于激活协方差和梯度协方差，KronQ在两个互补层面利用这一点。（1）KronQ引入了双向非相干处理，通过使用梯度协方差将现有的输入侧随机旋转扩展到输出维度，从而降低输入和输出维度上的权重幅度方差。（2）KronQ推导出了一种新的跨层混合精度分配的灵敏度度量，该度量由梯度和激活的海森迹驱动。值得注意的是，在LLaMA-3-70B上进行2比特仅权重量化时，尽管GPTQ和GPTAQ发散或产生退化量化（在WikiText-2上困惑度>2000），KronQ实现了7.93的困惑度。

查看原文

查看缓存全文

缓存时间: 2026/07/10 06:16

# KronQ：基于Kronecker因子Hessian的大型语言模型量化
来源：https://arxiv.org/abs/2607.07964
查看PDF (https://arxiv.org/pdf/2607.07964)

> 摘要：训练后量化（Post-training quantization, PTQ）是一种广泛应用于压缩大型语言模型（LLM）而无需重新训练的技术。现有的二阶PTQ方法（包括GPTQ）仅从输入激活统计量构建量化目标，实际上假设所有输出通道对逐层重建目标的贡献相等。我们提出KronQ，一种通过将梯度协方差引入量化流程来挑战这一假设的PTQ框架。在Kronecker因子Hessian近似下，量化损失同时依赖于激活协方差和梯度协方差，KronQ在两个互补层面上利用了这一点。(1) KronQ引入了双向非相干处理，利用梯度协方差将现有的输入侧随机旋转扩展到输出维度，从而降低了权重大小在输入和输出维度上的方差。(2) KronQ利用梯度和激活Hessian迹推导了一种新的层间混合精度分配的敏感度指标。值得注意的是，在LLaMA-3-70B上的2比特仅权重量化任务中，GPTQ和GPTAQ出现发散或产生退化量化（在WikiText-2上困惑度>2000），而KronQ实现了7.93的困惑度。

## 提交历史

来自：Donghyun Lee [查看电子邮件 (https://arxiv.org/show-email/b359ea7e/2607.07964)] **[v1]** 2026年7月8日周三22:34:52 UTC (5,916 KB)

相似文章

REAL-Q：通过动态梯度下降实现端到端大语言模型量化

arXiv cs.LG

本文提出REAL-Q，一种新颖的端到端对齐训练后量化方法，用于大语言模型，该方法利用动态梯度下降来减轻量化误差，在KL散度降低方面相较于最先进方法实现了显著改进。

KLQ: Training-free measured rotation quantization. Beats all training-free rotation-based quantization methods on W4A4KV4-bits. Llama 3.2 1B KLQ-quantized beats SpinQuant and gets close to ReSpinQuant without GPTQ/LDLQ rounding.

Reddit r/LocalLLaMA

KLQ is a training-free LLM quantization method that allocates bits per direction based on measured KL divergence, outperforming existing training-free rotation-based methods on W4A4KV4-bit settings for models like Llama 3.2 1B and Qwen 2.5.

KronQ: 基于Kronecker分解Hessian矩阵的大语言模型量化方法

相似文章

REAL-Q：通过动态梯度下降实现端到端大语言模型量化

KLQ: Training-free measured rotation quantization. Beats all training-free rotation-based quantization methods on W4A4KV4-bits. Llama 3.2 1B KLQ-quantized beats SpinQuant and gets close to ReSpinQuant without GPTQ/LDLQ rounding.

JARQ：用于量化的联合交替精修

Qift: 移位友好的无零点W2训练后量化，用于旋转W2A4/KV4大语言模型推理

HyQuant: LLM注意力的混合精度量化

提交意见反馈