[论文] 大语言模型的统计无损量化

Reddit r/LocalLLaMA 2026/07/24 18:06 论文

quantization large-language-models statistical-methods lossless-compression

摘要

本文提出了一种针对大语言模型的统计无损量化方法，旨在在不损失信息的情况下减小模型大小。

暂无内容

查看原文

相似文章

arXiv cs.LG

本文提出了一种通过结合神经元重要性和数据感知低秩逼近来压缩大型语言模型的方法，同时采用高效的动态压缩率分配算法，性能与之前的最先进水平相当或更优。

arXiv cs.LG

本文研究了在全精度语言模型中由稀疏自编码器识别的可解释特征在量化后是否仍然忠实，发现系统性的退化，而像困惑度这样的行为指标可能无法捕捉到这种退化。

Papers with Code Trending

本文介绍了Tequila，这是一种针对大语言模型的无陷阱量化方法，通过将陷入死区的权重重新利用为动态偏置，提高了三元量化的准确性和推理速度。

arXiv cs.LG

介绍了平坦度度量与双向对角量化（BDQ）用于大型语言模型的训练后量化，实现了接近无损的4比特权重和激活量化，并在极低比特设置下取得了显著改进。

arXiv cs.CL

本文探讨了极低量化大语言模型中的平滑性退化问题，认为除了数值精度外，保持平滑性对于维持模型性能至关重要。