一篇关于推理模型训练后如何改进的入门论文

表明更好的推理模型更少依赖原始数据规模，更多依赖可验证的训练证据。

推理数据并非简单的问答对。有用的部分往往是那些指出答案、步骤、工具操作或整次尝试为何好或为何不好的反馈。

一条提示词和对应的回答只能告诉你模型说了什么，但无法说明：这个答案为什么变成了可学习的、是哪个评判机制认可了它、哪些失败被隐藏了，以及该技能是否已经存在于基础模型之中。

核心思路是将每个训练示例描述为一条记录，其中包含任务、模型行为、验证信号，以及关于该示例来源的元数据。

作者按验证方式对推理数据进行分类：例如数学和代码场景下基于规则的精确验证、智能体使用工具时的环境验证，以及在没有精确验证器时的人工或模型评判。

他们还解释了常见假设为何不成立——因为长的推理链可能是虚假的、更难的例子对某些模型可能毫无用处、而更大的数据集仍可能遗漏重要的覆盖范围。

关键在于：智能体数据应当保留混乱——失败的动作、重试、恢复、状态差异以及最终检查——因为学习信号往往就在其中。

链接 – arxiv.org/abs/2606.02113

标题：“A Primer in Post-Training Reasoning Data: What They Know About How It Works”