post-training-compression

本文实证研究了在无需训练的LLM压缩方法ROCKET中，使分配成本与输出空间目标对齐是否能提升压缩模型保真度。结果显示准确率与困惑度之间存在权衡，且在高压缩比下效果更为显著。