论文页面 - 利用辅助奖励进行自我改进：从已验证的轨迹中学习并评估迁移效果

来源：https://huggingface.co/papers/2610.41296

摘要

基于熵和置信度指标的辅助轨迹偏好，通过区分同样正确的推理轨迹的学习价值，提升小型语言模型的自我改进能力和迁移效果。

答案级奖励无法区分结果同样正确的推理轨迹 (https://huggingface.co/papers?q=reasoning%20traces)。我们研究辅助轨迹偏好 (https://huggingface.co/papers?q=trajectory%20preferences)能否在有限监督下改善小型语言模型的自我改进 (https://huggingface.co/papers?q=self-improvement)和迁移效果。我们通过在线奖励增强 (https://huggingface.co/papers?q=online%20reward%20augmentation)和基于正确回答的离线训练，比较基于置信度的指标 (SC) 与基于熵的指标 (https://huggingface.co/papers?q=entropy-based%20metrics)(UID-Conj. (https://huggingface.co/papers?q=UID-Conj.))，后者结合了全局熵变化和局部平滑性。在线实验在不提供参考答案的情况下，使用 30 道 AIME 题目对 Qwen3-1.7B 进行适应训练；离线实验使用历年 AIME 题目。UID-Conj. (https://huggingface.co/papers?q=UID-Conj.)使适应基准和三个迁移基准上的在线宏平均成绩，相比未经修改的 TTRL 提高了 2.08 个百分点。最有力的证据来自离线加权 SFT (https://huggingface.co/papers?q=offline%20weighted%20SFT)：UID-Conj. (https://huggingface.co/papers?q=UID-Conj.)在同一回答池上的表现比均匀加权高出 1.93 个百分点，基于配对提示自助法的 95\% 置信区间为 [0.44, 3.44]。收益因任务而异：SC 奖励改善了经评判的轨迹质量和指令遵循表现，而 UID-Conj. (https://huggingface.co/papers?q=UID-Conj.)奖励在多种设置下带来了更好的训练结果。我们发现，辅助偏好能够揭示同样正确的轨迹中在推理时未被捕捉到的学习价值，因此应通过下游收益来评估这些偏好。

查看 arXiv 页面 (https://arxiv.org/abs/2610.41296)查看 PDF (https://arxiv.org/pdf/2610.41296)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.41296)

在你的智能体中获取这篇论文：

hf papers read 2610\.41296

尚未安装最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有链接到这篇论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2610.41296，即可从此页面链接到该模型。

引用这篇论文的数据集0

没有链接到这篇论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.41296，即可从此页面链接到该数据集。

引用这篇论文的 Space0

没有链接到这篇论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2610.41296，即可从此页面链接到该 Space。

收录这篇论文的合集0

没有收录这篇论文的合集

将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可从此页面链接到该合集。