标签
SoloQ提出一种免校准的量化框架，将权重和激活映射到归一化旋转基底，实现数据无关的4比特量化，在扩散语言模型上保持精度并最多降低2.61倍峰值内存、加速2.24倍推理。
本文介绍Magnitude Profile (MP)评分，这是一种无需校准的方法，用于剪枝Transformer中的注意力头，在如OPT-6.7B和RoBERTa-large等模型上相较于现有方法实现更好的困惑度，且无需前向传播或校准数据。
D-Quant 是一种灵活的 KV 缓存量化框架，采用可漂移熵编码将可变长度表示转换为固定大小的比特流，从而在注意力内核中实现高效的并行反量化，并实现高达 7 倍的内存减少和 3.5 倍的吞吐量提升，同时保持接近 BF16 的性能。
LILA是一种用于大型语言模型的无校准结构化剪枝方法，利用潜在谱几何对神经元重要性进行评分，在无需校准数据的情况下实现竞争性能。
ReRound是一种训练后量化方法，使用条件扩散模型来引导接近中点的权重的舍入，在3位和4位量化下提高小型LLM的准确性，且不引入推理开销。