trajectory-guidance

#trajectory-guidance

通过近未来引导弥合在线蒸馏中的推理轨迹

arXiv cs.CL ↗ · 2026-06-02 缓存

本文指出了在线蒸馏大语言模型时token级监督的局限性，并提出TOPD方法，利用近未来轨迹信息更好地识别发散推理状态并将引导分布到多个token上，在AIME基准测试中取得了性能提升。

0 人收藏 0 人点赞