svd

该研究揭示了LLM文本嵌入被高频token（如句号、冠词）绑架的问题，提出EmbedFilter方法通过对unembedding矩阵进行SVD分解并减去投影分量来释放真实语义，实现零训练开销的降维和检索效率提升。

Sebastian Raschka 指出，从 LatentMoE 到特征分解的灵感链：MLA、LoRA 和 SVD 层层启发。

一种后验方法通过截断权重更新矩阵SVD的尾部来减少微调大语言模型中的虚假相关性。该方法在不重新训练或使用群体标签的情况下，将虚假群体差距最多减少5倍，精度损失小于2个百分点。

介绍SigmaScale，一种为基于SVD的LLM压缩学习辅助缩放矩阵的方法，在Llama 3.1 8B和Qwen3-8B基准测试上展现出具有竞争力的性能。

本文提出DG-Hard，一种事后谱修复方法，仅使用预训练和微调检查点，即可恢复因微调而受损的能力，无需重新训练。该方法将Donoho-Gavish硬奇异值阈值应用于权重更新，去除噪声并恢复退化的性能。

本文介绍了 CERSA，这是一种新颖的参数高效微调方法，它利用奇异值分解来保留主成分，在显著降低内存使用的同时，其表现优于 LoRA 等现有方法。