@zhaisf: 这是 @geoffreyhinton 提出的蒸馏方法的一些神奇结果，当我第一次看到它们时，真的让我震惊，而且……

X AI KOLs Following 论文
distillation neural-networks knowledge-distillation robustness research paper

摘要

本文讨论了模型蒸馏对训练分布的惊人鲁棒性，即使与目标分布的重叠很小，以及其对在线/离线策略蒸馏的影响。

这些是 @geoffreyhinton 提出的蒸馏方法的一些神奇结果，当我第一次看到它们时，真的让我震惊，而且老实说，直到今天我仍然没有完全理解它 https://ttic.edu/dl/dark14.pdf。 TLDR 版本：蒸馏对训练分布具有令人难以置信的鲁棒性，即使它与目标分布几乎没有或完全没有重叠。 这也为当前热门的在线 vs 离线策略蒸馏话题提供了一个有趣的视角——尤其是为什么尽管两者差异（很大），却都是有效的选择。
查看原文
查看缓存全文

缓存时间: 2026/06/08 11:19

这是 @geoffreyhinton 蒸馏方法带来的一些神奇结果，我第一次看到时真的震惊了，老实说到今天我还没完全搞懂：https://ttic.edu/dl/dark14.pdf。简而言之：蒸馏在训练分布上具有令人难以置信的稳健性，即使训练分布与目标分布几乎没有重叠。这也为当下热门的在线与离线蒸馏话题提供了一个有趣的视角——特别解释了为什么尽管两者存在（巨大）差异，却都是可行的选择。— 来源：https://www.ttic.edu/dl/dark14.pdf

相似文章

揭秘同策略蒸馏：其益处、危害及原因

Hugging Face Daily Papers

本文介绍了一种无需训练的框架，用于分析推理模型在逐token级别上的蒸馏信号。研究揭示，蒸馏引导在错误推理路径上更为有效，且其效果取决于学生模型的能力及任务上下文。

理解离策略与同策略蒸馏：两类不同训练目标的故事

arXiv cs.LG

这篇 UCLA 论文从理论上分析了同策略蒸馏（OPD）与离策略/SFT 式蒸馏的区别，展示了前向 KL 与反向 KL 目标如何分别将多个教师模型聚合为算术混合与几何混合，建立了对数级遗憾界，并解释了 OPD 的优势与脆弱性（例如对低概率教师的敏感性以及错误前缀偏差）。