backtracking

介绍了Pyligent，一种利用任务验证器标记失败并在推理中教导大语言模型回溯的训练框架，提高了隐藏图、数独和积木世界的求解率。

本文介绍了VGB，一种带有概率回溯的过程引导采样算法，通过鲁棒地处理验证器错误，显著提升了小型0.5B模型的编码性能。

本文介绍了一种名为Motab的新型大语言模型推理蒸馏流水线，通过动态监控学生生成并在偏离时回溯到安全状态并借助教师干预，同时缓解离策略和在线策略暴露偏差，取得了约3%的平均性能提升。