论文页面 - 重新审视完整推理轨迹在后训练中的作用

来源：https://huggingface.co/papers/2609.07103

摘要

大语言模型从截断的轨迹端点而非完整推理轨迹中获得推理能力的提升，减少了冗余信息，同时为监督微调和强化学习带来收益。

大语言模型（https://huggingface.co/papers?q=Large%20language%20models）（LLMs）通常会在预收集的推理轨迹（https://huggingface.co/papers?q=reasoning%20trajectories）上进行后训练，以提升其推理能力。这些轨迹往往因复杂交织的推理路径而显得冗长，其中常包含通往答案过程中的迂回步骤。然而，LLMs在后训练（如监督微调（https://huggingface.co/papers?q=supervised%20fine-tuning）(SFT)）中是否真的需要学习完整轨迹，尚未得到充分探讨。

基于我们的初步研究，我们发现完整轨迹带来的收益有限，而即使经过大幅截断，部分轨迹依然有效。我们通过基于注意力的分析和受控的token移除实验（https://huggingface.co/papers?q=token-removal%20studies）分析了推理轨迹（https://huggingface.co/papers?q=reasoning%20trajectories）中的冗余性，两者均表明中间token对最终推理质量的贡献极小。这表明，通过避免冗余信息，LLMs能够基于已知的轨迹端点，从其内部知识中推断出缺失的步骤，从而内部生成连贯的替代推理路径。

此外，我们证明使用端点训练LLMs能带来推理行为的稳定改变，并且这种方法同样有益于基于强化学习（https://huggingface.co/papers?q=reinforcement%20learning）或在线蒸馏（https://huggingface.co/papers?q=on-policy%20distillation）的后训练方法，突显了重新审视完整推理轨迹的必要性。代码已发布于 https://github.com/naver-ai/revisiting-trace\。

查看arXiv页面 (https://arxiv.org/abs/2609.07103) | 查看PDF (https://arxiv.org/pdf/2609.07103) | GitHub (https://github.com/naver-ai/revisiting-trace) | 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.07103)

引用此论文的模型（0）

暂无模型关联此论文

在模型的README.md中引用 arxiv.org/abs/2609.07103 即可从本页关联该模型。

引用此论文的数据集（0）

暂无数据集关联此论文

在数据集的README.md中引用 arxiv.org/abs/2609.07103 即可从本页关联该数据集。

引用此论文的Space（0）

暂无Space关联此论文

在Space的README.md中引用 arxiv.org/abs/2609.07103 即可从本页关联该Space。

包含此论文的收藏集（0）

暂无收藏集包含此论文

将此论文添加到收藏集（https://huggingface.co/new-collection）即可从本页关联该收藏集。