标签
该论文研究了 LoRA 适配器初始输入子空间方向的重要性为何依赖于数据条件,提出了基于激活值主成分分析(PCA)的 PivotLoRA 初始化方法,并在使用 BERT/Llama 的少样本分类任务以及 GSM8K、StrategyQA 任务上验证了其优于原版 LoRA。
本文探讨了在自动语音识别(ASR)中应用激活引导(activation steering)技术。研究发现,通过有监督优化引导向量,不仅能提升ASR的整体性能,还能改善不同性别、年龄和方言群体之间的人口统计学公平性,同时支持利用声学特征相似的说话者实现少样本或零样本适配。
论文提出了一种近似帕累托最优(APO)方法,用于协同学习轻量级大语言模型对齐器的初始化参数,以支持在数据稀缺条件下的少样本个性化。该方法通过将更新方向兼容的用户分组,并协调相互竞争的目标以趋近帕累托最优点,同时给出了可证明的次优性界限。
MC-RFM提出了一种新颖的黎曼流匹配框架,用于小样本自适应,该框架在结合双曲空间和欧几里得空间的混合曲率流形上建模特征位移,在多个视觉识别基准上优于现有方法。