training-inference-mismatch

我们介绍了MIPI（单调推理策略改进）及其实例化MIPU，这是一个用于LLM的两步RL框架，通过将优化与推理策略改进明确对齐来解决训练-推理不匹配问题。在FP8量化展开下，MIPU在Qwen3-1.7B和Qwen3-4B模型上实现了改进的推理性能和训练稳定性。

提出了自生成T2T（Self-Generated T2T）训练方法，该方法通过使用模型自身的预测作为错误源，使Token编辑训练与推理对齐，从而提高了LLaDA2.1的准确性。

本文诊断了大语言模型强化学习中的训练-推理不匹配（TIM），表明训练和推理阶段令牌概率之间的微小数值差异可能导致训练崩溃，并提出了补救措施。