标签
一种后验方法通过截断权重更新矩阵SVD的尾部来减少微调大语言模型中的虚假相关性。该方法在不重新训练或使用群体标签的情况下，将虚假群体差距最多减少5倍，精度损失小于2个百分点。
SpurAudio 是一个新的基准测试，旨在评估少样本音频分类中的捷径学习与虚假相关性问题。研究表明，当背景相关性被打破时，包括大型预训练音频基础模型在内的最先进方法均出现显著的性能下降。
本文提出一种通过两阶段样本评分函数分离核心特征与虚假特征学习动态的方法，仅需10%的训练数据即可实现最先进的去偏性能。
本文分析了诸如直接偏好优化（DPO）等偏好优化方法中的虚假相关性学习，确定了平均虚假偏差和因果-虚假泄漏等机制。本文提出了使用效用相等的偏好对进行“平局训练”作为一种缓解策略，以减少对虚假特征的依赖，同时不降低因果学习效果。
# 专家乘积训练减少自然语言推理中的数据集伪影 来源：[https://arxiv.org/html/2604.19069](https://arxiv.org/html/2604.19069) ###### 摘要 神经NLI模型过度拟合数据集伪影而非真正推理。仅假设模型在SNLI上达到57.7%，显示出强烈虚假关联，其中38.6%的基线错误源于这些伪影。作者提出专家乘积（PoE）训练，对偏见模型过度自信的样本降权。