论文页面 - Allspark：通过交替思维链实现弱到强的迁移

来源：https://huggingface.co/papers/2609.32913

摘要

前沿模型的最新进展重新激发了人们对大规模强化学习的兴趣，但生成大模型 rollout 的高昂成本使得即使测试强化学习方案也变得非常昂贵。我们探究，一个小而弱的模型通过学习获得的推理能力提升，能否在训练过程中不使用强模型 rollout 的情况下，使一个更大、更强的模型受益。我们提出了 Allspark，一个通过交替思维链实现弱到强迁移的训练和推理框架。一个弱教师模型与同一模型的冻结副本一起训练；两个模型交替生成推理片段，最终由冻结模型生成答案。在推理时，一个更强的学生模型替代冻结的训练伙伴，而两个模型均保持固定。由于它们通过文本进行通信，教师可以引导来自不同模型族和使用不同分词器的学生。我们在两个规模上研究了 Allspark：跨数学和推理任务的受控 Qwen 实验，以及在 ARC-AGI-2 上的更大规模 Inkling 实验。Inkling 实验显示，在同族和跨族设置中均有准确率提升，包括迁移到 Kimi 和 Nemotron，其益处在不同推理设置中有所差异。这些发现促使我们考虑在不同的强学生模型间复用已训练的弱教师，并研究由此产生的准确率- token 权衡。

查看 arXiv 页面 (https://arxiv.org/abs/2609.32913) 查看 PDF (https://arxiv.org/pdf/2609.32913) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.32913)

引用本文的模型

0

无模型关联本文

在模型 README.md 中引用 arxiv.org/abs/2609.32913 以从本页面链接。

引用本文的数据集

0

无数据集关联本文

在数据集 README.md 中引用 arxiv.org/abs/2609.32913 以从本页面链接。

引用本文的 Space

0

无 Space 关联本文

在 Space README.md 中引用 arxiv.org/abs/2609.32913 以从本页面链接。

包含本文的收藏集

0

无收藏集包含本文

将本文添加到收藏集 (https://huggingface.co/new-collection) 以从本页面链接。