training-inference-mismatch

本文诊断了大语言模型强化学习中的训练-推理不匹配（TIM），表明训练和推理阶段令牌概率之间的微小数值差异可能导致训练崩溃，并提出了补救措施。