混合策略蒸馏（HPD）：面向大模型的统一知识蒸馏

arXiv cs.CL 论文
knowledge-distillation large-language-models model-compression hybrid-policy optimization

摘要

提出混合策略蒸馏（HPD），一种统一的知识蒸馏方法，平衡前向与反向 KL 散度，结合离线数据与轻量级在线采样，在数学推理、对话与代码任务上全面提升大模型压缩效果。

arXiv:2604.20244v1 发布类型：新增 摘要：知识蒸馏（KD）是压缩大语言模型（LLM）的有力范式，其效果取决于散度方向、优化策略与数据机制的耦合选择。本文拆解现有 KD 方法的设计，提出统一视角，将其重构为词元级的重加权对数似然目标。进一步提出混合策略蒸馏（HPD），整合前向与反向 KL 的互补优势，兼顾模式覆盖与模式搜索，并结合离线数据与轻量级近似在线采样。我们在长文本数学推理及短文本对话与代码任务上验证 HPD，在不同模型家族与规模下均取得更优的优化稳定性、计算效率与最终性能。相关代码已开源：https://github.com/zwhong714/Hybrid-Policy-Distillation。
查看原文
查看缓存全文

缓存时间: 2026/04/23 10:03 

# 面向大语言模型的混合策略蒸馏
来源：https://arxiv.org/abs/2604.20244  
查看 PDF（https://arxiv.org/pdf/2604.20244）

> 摘要：知识蒸馏（KD）是压缩大语言模型（LLM）的有力范式，其效果取决于散度方向、优化策略与数据机制三者交织的选择。我们拆解现有 KD 方法的设计，提出统一视角，将其重铸为 token 级重加权对数似然目标。进一步提出混合策略蒸馏（HPD），融合前向与反向 KL 的互补优势，兼顾模式覆盖与模式搜索，并将离策略数据与轻量级近似在策略采样相结合。我们在长文本数学推理、短文本对话与代码生成任务上验证 HPD，在多种模型家族与规模下均获得更优的优化稳定性、计算效率与最终性能。相关代码已开源于此 https 地址（https://github.com/zwhong714/Hybrid-Policy-Distillation）。

## 提交历史

来自：朱文宏 [查看邮件（https://arxiv.org/show-email/8037def0/2604.20244）] **\[v1\]** 2026 年 4 月 22 日（周三）06:46:22 UTC（1,059 KB）

相似文章

DOPD: 双在线策略蒸馏

Hugging Face Daily Papers

DOPD提出了一种双在线策略蒸馏范式，该范式基于优势差距和概率，在特权教师和学生策略之间动态路由令牌级监督，解决了特权幻觉问题，并提升了LLM和VLM中的能力迁移。

字典序多目标在线策略蒸馏

arXiv cs.LG

Cohere 研究人员提出了字典序多目标在线策略蒸馏（LMOPD），这是一种多教师方法，通过门控路由和投影对数策略修正，在显式优先级顺序下整合各奖励专项策略。在三个数学基准上的 30B-A3B MoE 模型评测中，LMOPD 相比基线方法保留了远更多的最高优先级准确率与推理能力增益，同时仍捕捉到了简洁性方面的改进。

Latent-MOPD：隐空间多教师同策略蒸馏

arXiv cs.LG

论文提出了 Latent-MOPD，这是首个面向大语言模型的表示层面多教师同策略蒸馏方法，无需额外的教师训练，即可同时通过输出分布和隐藏状态整合多个专业教师模型；在涵盖数学、代码和逻辑推理的九个基准测试中，其表现优于仅基于 token、仅基于表示以及平均融合等基线方法。

OPRD：在策略表示蒸馏

Hugging Face Daily Papers

OPRD提出了一种新的知识蒸馏方法，该方法在策略部署期间跨层对齐学生和教师的隐藏状态，消除了来自词空间KL估计的采样方差。实验表明，OPRD在数学推理基准（AIME 2024/2025、AIMO）上优于输出空间基线，同时速度快1.44倍，内存使用减少54%。

通过混合策略蒸馏进行推理压缩

arXiv cs.AI

本文提出了混合策略蒸馏（MPD），这是一个将大教师模型的简洁推理行为转移到更小规模的学生模型的框架，在提升性能的同时，将令牌（token）使用量最多降低了27.1%。