spectral-preconditioning

介绍跨度内学习（in-span learning）——一种通过将模型自身的预测流经增量奇异值分解来适应降阶模型的方法，在不改变子空间的前提下重新加权和重新对齐基。该方法在多个动力系统上得到验证，并被视为计算科学领域与上下文学习（in-context learning）相对应的概念。

FuRA 提出了一种基于频谱预条件的全秩参数高效微调方法，通过块张量列车分解实现，在保持 LoRA 级别效率的同时达到比全微调更高的准确率。它在 LLM 和 VLM 任务上优于 LoRA 和全微调。