论文页面 - 重新思考大语言模型的在策略蒸馏 II：单次训练示例

来源：https://huggingface.co/papers/2609.04172 作者： , , , , , , , , , ,

摘要

在策略蒸馏能够通过快速覆盖教师状态，在单次查询的基础上改进数百步，然而学生的对齐过程依然缓慢，这表明该方法受限于算法能力而非数据不足。

在策略蒸馏 (https://huggingface.co/papers?q=On-policy%20distillation) (OPD) 将学生生成的滚动轨迹与来自教师的密集令牌级监督 (https://huggingface.co/papers?q=token-level%20supervision) 相结合。现有研究主要关注其算法行为，而数据在其中的角色尚不明确。我们在数据最小化极限条件下，通过仅用单次查询进行训练来考察这一角色。单次查询的 OPD 持续改进数百步，并在不同任务领域和模型家族中恢复了全数据 OPD 大部分的增益。我们通过训练期间访问的状态以及学生与教师的对齐速率来解释这一结果。我们衡量了状态覆盖率 (https://huggingface.co/papers?q=state%20coverage)，即一组查询的滚动轨迹所能达到的、全数据 OPD 访问过状态的比例。单次查询即可达到 71.5%，其中大部分在前 100 步内完成。添加语义不同的查询可以同时提高覆盖率和验证集准确率，直至 16 个查询达到 98.9% 并匹配全数据训练。然而，无论 OPD 是在单次查询还是整个数据集上训练，其对齐过程都以相似的速度放缓，即使是固定的状态集也需要数百步才能被吸收。因此，OPD 是数据过饱和而算法能力不足。其滚动轨迹能快速暴露广泛的监督信号，而学生吸收该监督信号的能力则日益变慢。状态覆盖率的结果也延伸至多教师 OPD (https://huggingface.co/papers?q=multi-teacher%20OPD)，其中每个领域 16 个语义多样的查询可以匹配全数据 MOPD。作为进一步的压力测试，内容简短的模板和域外的 WildChat 查询也能接近真实查询基线。因此，任务内容与其所诱导的状态覆盖率 (https://huggingface.co/papers?q=state%20coverage) 可能并不相关。我们希望这些发现能指引未来的工作关注 OPD 的步长效率 (https://huggingface.co/papers?q=step%20efficiency)，并促使人们重新审视数据及其在前沿后训练中近期成功背后的机制。

查看 arXiv 页面 (https://arxiv.org/abs/2609.04172) 查看 PDF (https://arxiv.org/pdf/2609.04172) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.04172)

在您的智能助手中获取本文：

hf papers read 2609\.04172

没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型1

Thinking-Space/UltraData-IF-1.5B 文本生成 • 2B • 4分钟前更新 (https://huggingface.co/Thinking-Space/UltraData-IF-1.5B)

引用本文的数据集0

没有关联本文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2609.04172 以从此页面链接。

引用本文的空间0

没有关联本文的空间

在空间 README.md 中引用 arxiv.org/abs/2609.04172 以从此页面链接。

包含本文的收藏夹1