@SOURADIPCHAKR18: 我们还测试了一个推理密集型回归任务:判断一个冗长且有缺陷的推理轨迹首次出错的位置。Peda…
摘要
该推文描述了一个推理密集型回归任务,用于评估有缺陷的推理轨迹首次出错的位置,并显示教学强化学习(Pedagogical RL)取得了最佳性能,NMSE降低18%,CCC提高5%。
我们还测试了一个推理密集型回归任务:判断一个冗长且有缺陷的推理轨迹首次出错的位置。
Pedagogical RL 取得了最佳 NMSE(降低18%)和 CCC(提高5%),并且非常快速地达到了最佳性能。https://t.co/PCf9G52HaQ
查看缓存全文
缓存时间: 2026/05/17 22:23
我们还测试了一项推理密集型回归任务:判断一个冗长且有缺陷的推理轨迹最初是在哪里出错的。教学强化学习(Pedagogical RL)取得了最佳的NMSE(降低18%)和CCC(提升5%),并且非常快速地达到了最佳性能。https://t.co/PCf9G52HaQ
相似文章
@lateinteraction: 顺便说一句,更严肃地说,@dianetc_ 和我一直在想,如果用于推理的 RL 后接……
文章讨论了一篇题为'Reasoning-Intensive Regression'的论文,该论文提出了MENTAT,一种轻量级方法,结合批次反思式提示优化与神经集成学习,以改进AI任务中从文本到数值分数的预测,显示比基线提高多达65%。
@blc_16: MIT 刚刚发布了一种名为 Pedagogical RL 的新强化学习方法。主要教训 -> 正确的推理轨迹仍然可能是糟糕的训练数据...
MIT 引入了 Pedagogical RL,该方法通过惩罚令人意外的步骤来训练一个教师模型,使其为学生模型生成易于学习的轨迹,从而提高强化学习的训练效率。
重新审视后训练中的完整推理轨迹
本文发现,在后训练期间,大型语言模型可以从截断的推理轨迹而非完整轨迹中获得推理改进,减少冗余的同时,有利于监督微调和强化学习等方法。
搜索、失败、恢复:一种面向纠错感知推理的训练框架
介绍了Pyligent,一种利用任务验证器标记失败并在推理中教导大语言模型回溯的训练框架,提高了隐藏图、数独和积木世界的求解率。
GRACE: 梯度对齐的推理数据筛选方法,实现高效后训练
GRACE提出了一种梯度对齐方法,对单个推理步骤进行评分,以选择对后训练最有价值的数据,仅用20%的数据就达到了全部数据性能的108.8%。