蒸馏有多难？

Reddit r/LocalLLaMA 2026/05/08 20:46 新闻

model-distillation deepseek-r1 llama-3 qwen-2-5 ai-training cost-analysis

摘要

该文章探讨了模型蒸馏的难度和成本，以DeepSeek R1蒸馏到Llama 3 8b和Qwen 2.5 7b为例，询问为何蒸馏模型不常见。

我记得大约一年前，DeepSeek R1发布后很快就被蒸馏到了Llama 3 8b和Qwen 2.5 (?) 7b上。为什么我们看不到更多蒸馏模型？蒸馏成本有多高？需要多少token或提示？

查看原文

相似文章

Reddit r/LocalLLaMA

一篇批判性分析警告：许多Qwen/Claude蒸馏模型使用的训练样本太少（如4K），无法转移实际能力，与DeepSeek-R1等使用约70万样本的官方蒸馏相比，常常反而降低质量而非提升。

X AI KOLs Timeline

用户分享对本地LLM模型Qwen3.6 35B A3B的喜爱，该模型使用Opus 4.7蒸馏后无审核限制。

Reddit r/singularity

一位Reddit用户询问DeepSeek如何让一个300B参数的模型比9B参数的模型更便宜，引发了关于效率和成本的讨论。

X AI KOLs Following

Suhail预测，对开放权重模型的限制将导致蒸馏研究增加10倍，以此戏弄政府，并可能使AI更高效。

Reddit r/LocalLLaMA

一条推文分享了关于Qwen 3.8 AI模型蒸馏的信息链接，发布者注明未亲自测试。