[论文] 大语言模型的统计无损量化

Reddit r/LocalLLaMA 2026/07/24 18:06 论文

quantization large-language-models statistical-methods lossless-compression

摘要

本文提出了一种针对大语言模型的统计无损量化方法，旨在在不损失信息的情况下减小模型大小。

暂无内容

查看原文

相似文章

arXiv cs.CL

本文回顾了基于Kashin分解的大型语言模型权重量化方法，并提出一种使用结构化正交变换的改进算法，相比OPTQ和QuIP等方法，降低了计算成本并确保了数值稳定性。

arXiv cs.LG

本文提出一种针对大语言模型的量化鲁棒遗忘学习框架，利用损失景观分析来确保在压缩后有效遗忘的同时维持模型效用。

arXiv cs.LG

本文提出雅可比引导噪声注入，一种通过向预注意力logits注入噪声来增强大语言模型量化鲁棒性的训练策略，噪声方差源自雅可比范数，在低比特量化设置中实现显著的性能增益。

arXiv cs.LG

MixQuant提出了一种针对大语言模型的自适应混合精度量化框架，通过边缘化随机上游配置下的层失真来处理可变内存预算，在多个模型和预算下均优于现有方法。

arXiv cs.LG

本文提出了一种通过结合神经元重要性和数据感知低秩逼近来压缩大型语言模型的方法，同时采用高效的动态压缩率分配算法，性能与之前的最先进水平相当或更优。