SFT vs. DPO vs. RLVR，一篇讲清： 这三种方法都在定制大模型，但学习的监督信号各不相同。 以一道有已知答案的数学题为例。 1) 监督微调（SFT） SFT 需要提示词（prompt）和一条理想的补全内容，模型学习复现这条回复。 当高质量回复已经存在时，SFT 效果很好。代价在于为每条提示词撰写并验证一条理想回复。 2) 直接偏好优化（DPO） DPO 需要同一提示词下的优选回复和劣选回复。 训练会使优选回复出现的概率更高，无需单独训练奖励模型。 当比较两条回复比从头撰写理想回复更容易时，DPO 更为实用。 3) 基于可验证奖励的强化学习（RLVR） RLVR 需要提示词、参考答案以及一个可编程验证器。 模型采样多条解法，验证器将每个最终答案与参考答案比对并返回奖励。 GRPO 在同一组内比较奖励，提高高分解法出现的概率。 > SFT 学习模型应该说什么，DPO 学习哪条回复更好，RLVR 则从结果是否通过测试中学习。 因此，当成功与否可以自动验证时，RLVR 尤为有用。验证器可以运行代码并执行测试用例、按照 schema 校验结构化输出，或将数值答案与标准答案比对。 我在 Amazon SageMaker AI 上进行了实测：使用数值验证器，在 1,500 道 GSM8K 数学题上训练 Qwen3 0.6B。 基础模型在 1,319 道测试题中解出 736 道，精确匹配准确率为 55.80%。 经过 100 步 GRPO 训练后，RLVR 模型解出 774 道，准确率达到 58.68%。 训练修正了 133 个基线模型的错误，但也破坏了 95 个原本正确的答案。净提升 38 道，即 2.88 个百分点。 我会将此视为信号的验证，而非性能上限。 这只是在一个 0.6B 模型上进行了 100 步训练。后续实验可以延长训练时间、使用更多已验证样本，并调整学习率和 GRPO 组大小。 这些方法也可以组合使用：先用 SFT 教会模型稳定的解题格式，再用 RLVR 基于可执行验证器优化正确率。 方法的选择应遵循监督信号的获取成本： - 当存在理想补全时，使用 SFT。 - 当偏好标注更容易时，使用 DPO。 - 当成功可以程序化验证时，使用 RLVR。 如果你想动手实践，AWS 发布了一个无服务器模型定制实战工作坊，可以轻松上手在 Amazon SageMaker AI 上使用 RLVR。 工作坊涵盖数据集、自定义奖励函数、训练任务、评估和部署。 工作坊链接：http://fandf.co/4jL2MbR 我还撰写了一篇详细的工程实践文章，包含代码和实验结果。 完整文章见下方，感谢 AWS 与我共同完成本期内容。