面向政治人物简化的LLM蒸馏过程：
摘要
一篇向政治受众简化LLM蒸馏概念的文章，解释小型模型如何从大型模型学习。
暂无内容
相似文章
用于大语言模型后训练的蒸馏强化学习
介绍了蒸馏强化学习，一种使用教师模型为大模型后训练提供细粒度的词元级梯度信号的方法，结合了强化学习和知识蒸馏。
大语言模型实际工作原理
深入剖析现代大语言模型的工作原理，涵盖从分词到下一个词预测的核心机制，无需复杂数学知识。
面向Lean定理证明的LLM反馈蒸馏
提出反馈蒸馏（Feedback Distillation），一种利用来自LLM的token级监督来改进复杂推理的训练方法，在Lean 4定理证明上进行了评估。该方法比GRPO更好地保持了多样性，且两种方法互补。
从强化学习角度看OPD：用于样本高效LLM推理的最小二乘策略蒸馏
介绍了最小二乘策略蒸馏（LSPD），一种基于强化学习的样本高效蒸馏方法，用于大语言模型，在数学推理基准测试中提升了性能。
LLMs 并非你所认为的黑箱
一篇总结 Anthropic 2025 年关于机制可解释性论文的文章，表明 LLM 并非黑箱，电路追踪可以揭示多步推理和人类可识别的概念。