zeroth-order

本文揭示了LLM的零阶微调主要由单个解码层主导，该层可通过激活异常值识别，并且仅微调该层即可达到或超越全模型微调的效果，同时带来高达4.52倍的加速。