标签
Taco 提出一种跨平台 LLM 压缩方法，通过纯整数推理、精确的 float32 到整数转换与一致性测试向量，确保编码端与解码端在不同 GPU/CPU 硬件上产生完全相同的输出，并在 7 个后端上验证了哈希一致。
ReCal 是一种即插即用的校准方法，在结构化剪枝前通过教师-剪枝探针间的前向 KL 识别受损预测并重加权校准统计，从而提升剪枝模型在在线策略蒸馏（OPD）后的恢复效果，在 AIME 上最高提升 16.7 个百分点。
LittleBit 提出了一种通过低秩潜在矩阵分解与二值化实现超低比特（低至0.1 BPW）LLM 量化的框架，配合多尺度补偿机制，在 Llama2-7B 上以 0.1 BPW 超越了现有 0.7 BPW 方法，实现约 31 倍内存压缩与最高 11.6 倍推理加速。
Samsung Labs 释出 LittleBit 项目（NeurIPS 2025 / ICML 2026），通过潜在空间低秩分解与二值化实现大语言模型的亚 1-bit（低至 0.1 bpw）压缩，并在 LittleBit-2 中引入 Joint-ITQ 潜在几何对齐初始化以提升性能。
Nokia 应用研究部门与 Florida State University 的研究人员提出了大模型压缩（剪枝、量化、蒸馏）的能力缩放定律：通过共享密度-响应关系，拟合剪枝预测模型所需的测量量减少一半，同时在 Pythia 和 OLMo-2 模型上与完整拟合的回归结果差异不超过每 token 0.020 nats。
HyperZip 提出了一种高效的基于大语言模型的无损数据压缩框架。该框架利用基于扩散的大语言模型、Multi-Token Prediction（多词元预测）以及超网络，无需微调即可让模型适配目标数据，从而在压缩率与吞吐量之间实现了优于自回归基线的权衡。
本文提出了一种分层课程学习方法，用于高效压缩大语言模型，该方法以显著降低GPU内存占用和训练时间，实现了最先进性能。
PrismML，一家由Caltech创立的初创公司，发布了Bonsai 2，这是一个高度压缩的LLM，将内存使用量减少9-10倍，性能损失极小，旨在使AI能够在PC和智能手机等消费设备上运行。
本文介绍了“Compression Trinity”框架，该框架联合应用稀疏性、量化与低秩近似来压缩大型语言模型，以提高效率和性能。
本文系统评估了LLM压缩方法，并揭示了非对称危害，例如头部知识的不成比例损失和错误答案的置信度增加，这些被标准聚合指标所掩盖。
量化感知修复是一种通过直接从原始未压缩模型蒸馏来恢复压缩4位语言模型的方法，提供比量化感知训练更快、更稳定的性能。
本文表明，轻度压缩的大语言模型能够通过标准的无数据质量门禁（困惑度、MMLU、输出保真度），但在用作智能体时仍会编造程序步骤，并提出一种无数据双轴筛查方法，以便在部署前检测此类失败。
本文提出了一种针对LLM的复合稀疏框架，结合了静态参数剪枝与动态令牌级计算，表明混合这两种机制优于单维压缩，并能延迟性能退化。
AngelSlim/Hy3-GGUF 是一个用于在 llama.cpp 上量化和部署 Hy3 大语言模型的工具包，具有 MTP 自我推测解码和思考/工具调用解析器，以实现高效推理。
KronQ是一种后训练量化框架，通过Kronecker分解的海森矩阵近似引入梯度协方差，实现了双向非相干处理和改进的混合精度分配灵敏度度量。即使在LLaMA-3-70B等大模型上进行2比特权重量化，也能实现低困惑度。
LACE-SVD是一种新颖的大语言模型低秩压缩方法，采用损失感知的秩分配策略和传播感知的纠正技术，以减轻残差流中的累积误差传播，在高压缩比下实现了比以往基于SVD的方法更好的困惑度。
本文研究了基于LLM的财务文档压缩如何因丢失上下文限定词和引入模型依赖偏差而扭曲投资决策，并提出了Agentic Context Compression方法来审计与原始来源的分歧。
本文实证研究了在无需训练的LLM压缩方法ROCKET中，使分配成本与输出空间目标对齐是否能提升压缩模型保真度。结果显示准确率与困惑度之间存在权衡，且在高压缩比下效果更为显著。
一种新颖的端到端大语言模型压缩框架，联合优化结构化剪枝与混合精度量化，在超低位宽精度下，相比于现有最先进方法实现了显著的困惑度降低和加速效果。
介绍SigmaScale，一种为基于SVD的LLM压缩学习辅助缩放矩阵的方法，在Llama 3.1 8B和Qwen3-8B基准测试上展现出具有竞争力的性能。