标签
本文提出了一种针对批量推理中大型推理模型的无需训练自适应剪枝方法，采用周期性 top-k 选择和激活记忆以提高准确性和计算效率。
PALS根据激活幅度的99百分位数调整大语言模型剪枝中的每层稀疏比，在LLaMA-2-7B上相比均匀稀疏实现了显著困惑度改进，且附加成本可忽略不计。
介绍SigmaScale，一种为基于SVD的LLM压缩学习辅助缩放矩阵的方法，在Llama 3.1 8B和Qwen3-8B基准测试上展现出具有竞争力的性能。
介绍了QAM-W，一种针对LLM权重的联合二维码本量化方法，采用哈达玛旋转和激活感知缩放，在每权重5–6比特下实现接近BF16的困惑度，并以减少32%的权重比特达到与SmoothQuant W8A8相当的质量。