Compression Trinity：探索用于LLM压缩的稀疏性、量化与低秩近似

arXiv cs.AI 论文
llm-compression sparsity quantization low-rank-approximation efficiency scalability optimization

摘要

本文介绍了“Compression Trinity”框架，该框架联合应用稀疏性、量化与低秩近似来压缩大型语言模型，以提高效率和性能。

arXiv:2608.24070v1 公告类型：新 摘要：高昂的计算和环境成本阻碍了大型语言模型（LLM）的可扩展部署。传统压缩技术（稀疏性、量化、低秩近似）通常单独应用，每种技术都遇到了精度-效率的瓶颈。本文提出了“Compression Trinity”，一个统一的框架，联合应用这三大支柱：稀疏性以减少计算，量化以最小化内存带宽，低秩近似以恢复精度。为了加速预训练，我们将Trinity应用于优化器和模型架构。MKOR通过块对角稀疏性和低秩逆来近似曲率，保持量化状态的数值稳定性；它将曲率更新复杂度从$O(d^3)$降低到$O(d^2)$，并将收敛速度比KFAC最高提升1.85倍。SLoPe通过双重修剪的反向传播用于N:M稀疏性，将训练加速最高1.25倍，并在训练的最后1%使用低秩“懒惰”适配器来恢复精度。对于训练后压缩，OPTIMA通过将权重重构表述为全局最优的列二次规划，在零训练状态下稳定静态掩码，将零样本精度最高提升3.97%。在给定微调预算的情况下，PATCH通过学习0%到50%之间的动态混合稀疏率，突破了静态掩码的天花板，最高产生1.38倍的加速。最后，SLiM一次性实现了完整的Compression Trinity，使用数学推导的低秩适配器来恢复因量化和稀疏性丢失的信息，将精度比最先进的方法最高提升5.66%，并在相同参数预算下比未压缩的密集模型高出0.6%。总之，这些结果表明，联合应用Compression Trinity对于高效、可扩展、高性能的LLM至关重要。
查看原文
查看缓存全文

缓存时间: 2026/08/26 09:21 

# 压缩三位一体：探索大语言模型压缩中的稀疏性、量化与低秩近似
来源：https://arxiv.org/abs/2608.24070
查看 PDF (https://arxiv.org/pdf/2608.24070)

> 摘要：高昂的计算与环境成本阻碍了大语言模型的规模化部署。传统压缩技术（稀疏性、量化、低秩近似）通常单独应用，且各自面临精度与效率的瓶颈。本文提出“压缩三位一体”统一框架，联合运用这三大支柱：稀疏性用于降低计算量，量化用于最小化内存带宽，低秩近似用于恢复精度。为加速预训练，我们将三位一体应用于优化器与模型架构。MKOR 通过块对角稀疏性与低秩逆近似曲率，维持量化状态的数值稳定性；将曲率更新复杂度从 $O(d^3)$ 降低至 $O(d^2)$，并相对 KFAC 将收敛速度提升最高达1.85倍。SLoPe 通过双重剪枝反向传播实现 N:M 稀疏性，加速训练最高达1.25倍，并在训练最后1%阶段使用低秩“轻量”适配器恢复精度。对于训练后压缩，OPTIMA 通过将权重重构建模为全局最优列式二次规划，在零训练场景下稳定静态掩码，将零样本精度提升最高达3.97%。在给定微调预算下，PATCH 通过学习0%至50%的动态混合稀疏率，突破静态掩码的性能天花板，实现最高1.38倍加速。最后，SLiM 一次性实现完整的压缩三位一体，利用数学推导的低秩适配器恢复量化与稀疏性损失的信息，相对现有最优方法提升精度最高达5.66%，并在同等参数预算下超越未压缩的稠密模型0.6%。这些结果共同表明，联合应用压缩三位一体对于实现高效、可扩展、高性能的大语言模型至关重要。

## 提交历史
来自：Mohammad Mozaffari \[查看邮箱 (https://arxiv.org/show-email/be0f1db8/2608.24070)\] **\[v1\]** 2026年8月25日 星期二 05:09:07 UTC \(6,983 KB\)

相似文章

突破压缩瓶颈：从理论到实践

arXiv cs.CL

本文首次从数学上证明，低秩分解与量化在结合用于LLM压缩时并非正交，会导致性能下降，并提出了一种新颖的对角粘合方法（DAM）来减轻这种损失。

LRCC：通过条件计算泛化低秩压缩

arXiv cs.CL

LRCC提出了一种与token相关的计算分配方案：在冻结的预训练LLM中，通过训练轻量级路由器，在嵌套的低秩路径上进行动态选择。在相同的活跃参数预算和解码延迟下，与静态低秩压缩相比，LRCC在Llama和Qwen模型上取得了更好的困惑度和下游任务准确率。