标签
本文介绍了NSFT，一个针对MoE LLMs的细粒度参数高效微调框架，它将适应过程从专家细化到子专家，展示了用更少的可训练参数实现性能提升。
本文提出了ChainDoRA，一种针对大语言模型的参数高效微调方法，它结合了Tensor-Train分解和权重分解低秩适应，实现了可训练参数90.62%的减少，并在LoRA和DoRA的基础上提高了准确率。
本文提出一个用于带口音对话式ASR的三阶段流水线，以提高实体和不流畅性的召回率，实现80-85%的实体召回率，并且用更少的参数优于基线系统。
本文介绍了Iso-LoRA，一种通过在切空间扰动上进行谱下降来促进奇异方向上均匀能量分布的优化器，从而增强LoRA，提高语言模型适配中的有效秩和下游性能。
TaRA是一种针对低秩适应（LoRA）的训练感知初始化方法，它提高了梯度保真度，从而在各种任务中提升了大型语言模型的微调性能。
归一化低秩适应 (NoRA) 通过归一化下投影矩阵来稳定 LoRA 训练，加速收敛并提高性能，无需额外参数或推理成本。
本文指出了在使用LoRA进行LLM强化学习时，令牌级信用分配中存在的一种结构性失效模式，即内在信号退化。它提出了适配器残差信用分配（ARCA），该方法从适配器的隐藏状态残差中推导令牌显著性，并与基线方法保持竞争力。
PreFT 提出仅在预填充 token 上应用适配器，在解码阶段丢弃它们，从而在几乎不损失性能的情况下提高多适配器服务的吞吐量。