out-of-domain-generalization

论文表明，递归语言模型通过隔离子任务、避免标准思维链所使用的捷径，并指出经典学习理论在真正推理方面的局限性，从而提高域外泛化能力。

SALSA提出了一种轻量级自适应方法，用于语音感知的大语言模型，通过监督目标学习逐层引导向量，在域外语音基准上取得了显著改进（相对提升高达46.8%），并表明引导编码器层（尤其是较深层）比修改LLM主干更有效。

本文介绍了保持旋转的有监督微调（RPSFT），这是一种通过在微调过程中保持预训练奇异子空间中的投影旋转来提高域外泛化能力的方法。