distillation

Wired报道称，硅谷在对待中国开放权重AI模型方面存在严重分歧：一些初创公司反对禁令，而Anthropic等AI巨头则因担忧知识产权盗窃和缺乏安全护栏而推动监管。

认为指责中国从美国AI模型中进行知识蒸馏在法律上是没有根据的，这不过是保护估值过高的美国AI公司的一种宣传手段。

一篇向政治受众简化LLM蒸馏概念的文章，解释小型模型如何从大型模型学习。

Suhail预测，对开放权重模型的限制将导致蒸馏研究增加10倍，以此戏弄政府，并可能使AI更高效。

专家们对中国公司Moonshot通过蒸馏复制Anthropic的Fable模型来实现Kimi K3的先进能力表示怀疑，理由是时间不足和技术限制。

有说法认为，蒸馏AI模型可以超越其规模更大的原始模型，这有悖常理。

VCSD通过使用内容擦除的对照图像产生对比信号，消除了在策略自蒸馏中对外部教师、特权答案或视觉证据的需求，在视觉语言基准测试中持续优于现有方法。

白宫内部对于如何应对中国快速进步的AI存在分歧，争论焦点在于实施更严格的管控还是制定可行的限制措施，尤其是针对美国模型（如Anthropic的Claude Fable 5）遭受的蒸馏攻击。

美国财政部威胁对中国AI公司Moonshot实施制裁，指控其涉嫌蒸馏Anthropic的Fable模型，此举加剧了围绕AI知识产权盗窃和出口管制违规的紧张局势。

会话自适应正交蒸馏（SAOD）是一种将7440亿参数模型（1.5TB）压缩至100GB以下的技术，大幅降低存储和推理成本。

评论批评Anthropic和OpenAI声称其封闭模型被中国模型Kimi3破解/蒸馏，质疑这与之前的安全声明不一致。

前白宫科学顾问声称Kimi K3是从Anthropic的Fable模型蒸馏而来的。

据称月之暗面AI使用复杂方法蒸馏Anthropic的Fable模型以开发其K3模型，从而规避检测，引发了对AI开发中大规模工业间谍行为的担忧。

MUX 提出了一种无损连续推理的方法，通过将离散推理步骤蒸馏到多路复用的潜在令牌中，这些令牌编码了子词的叠加，实现了更高的带宽，并在语言模型推理任务中支持并行探索。

文章认为，AI公司建立在昂贵模型训练之上的竞争护城河很容易被蒸馏（distillation）所削弱——即通过重复API查询来复制模型，行业实践如xAI在OpenAI模型上训练Grok、Anthropic指控中国实验室挖掘Claude等行为都印证了这一点。

@factoryAI 的 @enoreyes 的一句话暗示，蒸馏几乎是不可阻挡的，模型实验室可能已经认识到了智能的形态。

对输出相似性的分析表明，像Kimi K3、DeepSeek V4和GLM 5.2这样的中国AI前沿模型展现出风格差异，显示出有意义的独立发展，这挑战了其进展严重依赖从美国模型蒸馏的说法。

一篇论文提出了基于轨迹的在策略蒸馏（TOPD），一种教师监督框架，用于将推理能力迁移到掩码扩散语言模型，无需奖励估计，在显著的计算加速下实现了与经过RL训练的模型相当的准确率。

微软开源了 Resource2Skill，可从教程视频、文章、代码等人类资源中自动蒸馏出可执行的 agent 技能，并实现网页、PPT、Excel 等实际应用。

Kimi K3是Moonshot AI推出的2.8T参数开放模型，基准测试表现强劲，但可能过度优化，且落后顶级闭源模型数月。它从Claude蒸馏而来，其发布可能先于IPO。