low-rank

LoRDBA将LoRA的浮点低秩因子替换为二元符号载体和通道级缩放，实现了高效的设备上微调，显著减少了占用空间，延迟开销极小，质量与fp16相当。

提出M-ORE，一种模态解耦的在线递归编辑器，用于多模态大语言模型的终身适应，解决跨模态冲突和编辑间干扰，且每次编辑开销恒定。

本文研究了分段平稳的低秩线性上下文老虎机，提出了SPSC算法，该算法实现了与内在秩（而非环境维度）成比例的动态遗憾，并刻画了在标量反馈下子空间恢复的辨识边界。

本文指出了Dion低秩谱优化器中的几何失配，并提出了Orth-Dion，该方案用QR正交化替换列归一化，以在相同通信成本下弥合与Muon等全秩方法的收敛差距，并在大规模语言模型预训练中进行了验证。

提出 delta-Mem，一种轻量级在线记忆机制，利用紧凑状态矩阵并通过增量规则学习进行更新，以提升冻结大型语言模型的长上下文性能，无需全量微调或上下文扩展。

非对称流建模（AsymFlow）将噪声预测限制在低秩子空间，以实现高效的高维流生成，通过从潜在流模型微调，在ImageNet和文本到图像任务上取得了最先进的结果。