标签
本文揭示了LLM的零阶微调主要由单个解码层主导，该层可通过激活异常值识别，并且仅微调该层即可达到或超越全模型微调的效果，同时带来高达4.52倍的加速。
介绍了平坦度度量与双向对角量化（BDQ）用于大型语言模型的训练后量化，实现了接近无损的4比特权重和激活量化，并在极低比特设置下取得了显著改进。