标签
提出 Squelch——一种无需路由、无需新增可训练参数的秩一 LoRA 混合专家方法，通过噪声底限软阈值和 Stein 无偏风险估计，为每个词元自适应选择激活秩，并在常识推理、知识、数学、代码和 GLUE 基准测试上显著优于 LoRA 及最强的混合方法基线。