@neural_avb: 这篇文章实际上解释了On Policy Distillation损失函数的所有组成部分（前向与反向KL），等等…

X AI KOLs Timeline 新闻
on-policy-distillation kl-divergence reinforcement-learning privilege-estimation ai-education

摘要

本文解释了On Policy Distillation损失函数的组成部分，包括前向与反向KL散度、监督粒度、特权类型以及特权优势估计。还提供了来自Thinking Machines、Hugging Face等的其他资源。

这篇文章实际上解释了On Policy Distillation的所有组成部分 损失函数（前向与反向KL）、监督粒度、特权类型以及特权优势估计这一概念。 我喜欢的其他OPD资源： Thinking Machines/反向KL: http://thinkingmachines.ai/blog/on-policy… TRL: http://huggingface.co/spaces/Hugging… wh: http://x.com/nrehiew_/statu… Will Brown: http://x.com/willccbb/statu…
查看原文
查看缓存全文

缓存时间: 2026/07/11 07:21

这篇文章实际上解释了在线策略蒸馏（On Policy Distillation）的所有组成部分：

损失函数（前向 vs 反向 KL）、监督粒度、特权类型，以及这种称为“特权优势估计”的概念。

我喜欢的其他在线策略蒸馏（OPD）资源：

Thinking Machines/反向 KL：http://thinkingmachines.ai/blog/on-policy…

TRL： http://huggingface.co/spaces/Hugging…

wh： http://x.com/nrehiew_/statu…

Will Brown： http://x.com/willccbb/statu…

相似文章

同策略蒸馏（5分钟阅读）

TLDR AI

本文引入同策略蒸馏，通过在教师提供的token级KL正则化下，在学生自身轨迹上训练学生模型，解决训练-推理分布不匹配问题，统一了前向KL、反向KL和JSD损失，其中反向KL更适用于较小的学生模型。

理解离策略与同策略蒸馏：两类不同训练目标的故事

arXiv cs.LG

这篇 UCLA 论文从理论上分析了同策略蒸馏（OPD）与离策略/SFT 式蒸馏的区别，展示了前向 KL 与反向 KL 目标如何分别将多个教师模型聚合为算术混合与几何混合，建立了对数级遗憾界，并解释了 OPD 的优势与脆弱性（例如对低概率教师的敏感性以及错误前缀偏差）。