标签
本文提出逐层误差建模搜索（LEMS）与KFAC-SVD，以改进大语言模型的低秩SVD压缩，通过优化全局秩分配与分解质量，在Mistral、Qwen3和Llama 3系列模型上实现了最高4.8个百分点的零样本准确率提升以及平均15%的困惑度改善。
提出 Squelch——一种无需路由、无需新增可训练参数的秩一 LoRA 混合专家方法，通过噪声底限软阈值和 Stein 无偏风险估计，为每个词元自适应选择激活秩，并在常识推理、知识、数学、代码和 GLUE 基准测试上显著优于 LoRA 及最强的混合方法基线。
本研究通过实证表明，在监督微调中有效的基于梯度的 LoRA 秩分配，在基于 GRPO 的强化学习中会导致性能下降，原因在于梯度景观更为平缓以及存在梯度放大效应。