标签
本文发现在 LLM 预训练轨迹中存在 Rank-1 子空间现象，并提出 Extra-Merge，一种无需训练的策略，沿该子空间外推以最小化损失，在 GPT-2 和 LLaMA 系列模型（最高 2B 参数）上实现了零样本准确率的一致提升。