@jxmnop: 好吧，抱歉大家，显然他们确实做了蒸馏，哈哈。但只有一点点。
摘要
Jack Morris纠正了他早先的说法，即一个开源权重模型未经OpenAI或Anthropic蒸馏训练，承认实际上该模型确实使用了少量蒸馏。
查看缓存全文
缓存时间: 2026/07/16 00:00
好的，抱歉各位，显然他们确实做了蒸馏，哈哈。不过只有一点点。
Jack Morris (@jxmnop): 人们低估了这件事的重要性
这是唯一一个没有从OpenAI或Anthropic蒸馏训练的开源权重模型
• Kimi 蒸馏了 • GLM 蒸馏了 • Qwen 蒸馏了 • Nemotron 蒸馏了（包含Kimi和DeepSeek，这算）
基本上完全不同的
相似文章
@Miles_Brundage: 我不确定是否见过对蒸馏缩小这一差距的程度有好的分析——人们对此有截然不同的看法……
Miles Brundage 评论说，关于蒸馏如何影响开源权重与专有AI模型之间的能力差距，目前缺乏定量分析，并引用了Epoch AI的说法，即开源权重模型落后四个月。
@zhaisf: 这是 @geoffreyhinton 提出的蒸馏方法的一些神奇结果，当我第一次看到它们时，真的让我震惊，而且……
本文讨论了模型蒸馏对训练分布的惊人鲁棒性，即使与目标分布的重叠很小，以及其对在线/离线策略蒸馏的影响。
@ben_burtenshaw: 在模型蒸馏被视为攻击向量之前，它确实是提升特定任务模型性能的实用方法……
Ben Burtenshaw 宣布将于7月7日进行一场直播，内容涵盖后训练中的知识蒸馏，演示如何使用小型模型实现接近大型模型的性能。
@SergioPaniego: 在模型蒸馏成为攻击向量之前，它确实是一种在你关心的任务上提升模型性能的便捷方法……
本文简要介绍了AI中模型蒸馏的历史，并预告了即将举行的一场关于使用TRL（Transformer强化学习）蒸馏开放模型的直播课程。
API 中的模型蒸馏
# API 中的模型蒸馏 来源: [https://openai.com/index/api-model-distillation/](https://openai.com/index/api-model-distillation/) 我们推出了新的模型蒸馏服务，为开发者提供集成工作流，直接在 OpenAI 平台内管理整个蒸馏流程。这让开发者可以轻松利用 o1-preview 和 GPT-4o 等前沿模型的输出，来微调和提升 GPT-4o m 等更加经济高效的模型的性能