混合策略蒸馏（HPD）：面向大模型的统一知识蒸馏

arXiv cs.CL 论文
knowledge-distillation large-language-models model-compression hybrid-policy optimization

摘要

提出混合策略蒸馏（HPD），一种统一的知识蒸馏方法，平衡前向与反向 KL 散度，结合离线数据与轻量级在线采样，在数学推理、对话与代码任务上全面提升大模型压缩效果。

arXiv:2604.20244v1 发布类型：新增 摘要：知识蒸馏（KD）是压缩大语言模型（LLM）的有力范式，其效果取决于散度方向、优化策略与数据机制的耦合选择。本文拆解现有 KD 方法的设计，提出统一视角，将其重构为词元级的重加权对数似然目标。进一步提出混合策略蒸馏（HPD），整合前向与反向 KL 的互补优势，兼顾模式覆盖与模式搜索，并结合离线数据与轻量级近似在线采样。我们在长文本数学推理及短文本对话与代码任务上验证 HPD，在不同模型家族与规模下均取得更优的优化稳定性、计算效率与最终性能。相关代码已开源：https://github.com/zwhong714/Hybrid-Policy-Distillation。
查看原文
查看缓存全文

缓存时间: 2026/04/23 10:03 

# 面向大语言模型的混合策略蒸馏
来源：https://arxiv.org/abs/2604.20244  
查看 PDF（https://arxiv.org/pdf/2604.20244）

> 摘要：知识蒸馏（KD）是压缩大语言模型（LLM）的有力范式，其效果取决于散度方向、优化策略与数据机制三者交织的选择。我们拆解现有 KD 方法的设计，提出统一视角，将其重铸为 token 级重加权对数似然目标。进一步提出混合策略蒸馏（HPD），融合前向与反向 KL 的互补优势，兼顾模式覆盖与模式搜索，并将离策略数据与轻量级近似在策略采样相结合。我们在长文本数学推理、短文本对话与代码生成任务上验证 HPD，在多种模型家族与规模下均获得更优的优化稳定性、计算效率与最终性能。相关代码已开源于此 https 地址（https://github.com/zwhong714/Hybrid-Policy-Distillation）。

## 提交历史

来自：朱文宏 [查看邮件（https://arxiv.org/show-email/8037def0/2604.20244）] **\[v1\]** 2026 年 4 月 22 日（周三）06:46:22 UTC（1,059 KB）

相似文章

DOPD: 双在线策略蒸馏

Hugging Face Daily Papers

DOPD提出了一种双在线策略蒸馏范式，该范式基于优势差距和概率，在特权教师和学生策略之间动态路由令牌级监督，解决了特权幻觉问题，并提升了LLM和VLM中的能力迁移。

OPRD：在策略表示蒸馏

Hugging Face Daily Papers

OPRD提出了一种新的知识蒸馏方法，该方法在策略部署期间跨层对齐学生和教师的隐藏状态，消除了来自词空间KL估计的采样方差。实验表明，OPRD在数学推理基准（AIME 2024/2025、AIMO）上优于输出空间基线，同时速度快1.44倍，内存使用减少54%。

通过混合策略蒸馏进行推理压缩

arXiv cs.AI

本文提出了混合策略蒸馏（MPD），这是一个将大教师模型的简洁推理行为转移到更小规模的学生模型的框架，在提升性能的同时，将令牌（token）使用量最多降低了27.1%。

ShortOPD：通过短到长在策略蒸馏恢复剪枝后的大语言模型

arXiv cs.LG

ShortOPD提出了一种短到长的在策略蒸馏方案，通过将训练集中在有效前缀上，恢复用于自由形式生成的剪枝后大语言模型，相较于未恢复模型实现了高达9倍的改进，并以四分之一的训练时间达到了长视界蒸馏的效果。

MOPD：面向大语言模型后训练中能力整合的多教师在线策略蒸馏

Hugging Face Daily Papers

MOPD提出了一种用于大语言模型后训练的多教师在线策略蒸馏范式，通过将特定领域的RL教师模型蒸馏到学生模型（使用其自身的采样数据），实现了多领域能力的高效整合。该方案优于Mix-RL和Cascade RL等现有方法，并已在工业级模型中部署。