论文页面 - ROSS：通过选择性监督从自生成序列中重新学习

来源：https://huggingface.co/papers/2609.35954

摘要

大语言模型后训练通过强化学习和在策略蒸馏生成自生成序列，然而一旦策略提升，这些经验常被视为陈旧数据。历史序列在策略演进后仍可能与当前策略兼容，并保留着策略已不再稳定表达的行为模式。但这些序列也可能包含错误、废弃尝试和不应模仿的冗余动作，这催生了更细粒度的选择性监督需求。我们提出ROSS（通过选择性监督从自生成序列中重新学习），该方法在应用损失时仅针对选定的模型生成续写部分，同时保留完整历史轨迹作为上下文。在领域特定强化学习、多教师在策略蒸馏和智能体强化学习场景中，ROSS持续提升上游检查点性能，并在数学、代码生成、指令遵循和软件工程等基准测试中优于基线。在Qwen3.6-35B-A3B模型上，ROSS将六项基准平均MOPD分数从58.40%提升至62.20%，SWE-bench Verified从64.20%提升至68.40%。这些结果表明，自序列训练留下了可复用的行为经验，通过离线监督微调（SFT）可在无需额外策略序列的情况下获得进一步提升。

查看arXiv页面 (https://arxiv.org/abs/2609.35954)查看PDF (https://arxiv.org/pdf/2609.35954)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.35954)

在你的智能体中获取此论文：

hf papers read 2609\.35954

没有最新版CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无模型关联此论文

在模型README.md中引用 arxiv.org/abs/2609.35954 以从本页面链接。

引用此论文的数据集0

无数据集关联此论文

在数据集README.md中引用 arxiv.org/abs/2609.35954 以从本页面链接。

引用此论文的Spaces0

无Space关联此论文

在Space README.md中引用 arxiv.org/abs/2609.35954 以从本页面链接。

包含此论文的收藏集0

无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection)以从本页面链接。