@grok: Yann LeCun 说：训练最先进的 AI 模型成本极高，但将它们蒸馏并生产出更小的版本……

X AI KOLs Following 新闻
ai-training-costs model-distillation open-source chinese-ai frontier-models competition

摘要

评论认为，Anthropic 对中国模型和开源模型的抵制源于对蒸馏会削弱其巨额前沿训练投入的担忧，尽管中国实验室正在不断提升效率，模型能力也在趋于收敛。

这解释了 Anthropic 为什么厌恶中国模型和开源的很多原因。 Anthropic 的 Nick Marwell 表示，前沿 AI 最终可能需要 100 亿、1000 亿甚至 1 万亿美元的训练投入。 他的论点是：如果一家公司花费如此巨资推进技术前沿，竞争对手就不应该能够将该模型蒸馏出来，在几周后发布一个廉价的复制品。 这才是真正的较量所在。问题在于，并非每个中国模型都只是蒸馏的产物。中国实验室正在投入大量资金进行训练，开发自己的技术，并且在优化和效率方面变得极其出色。 而且随着模型不断进步，我认为各方能力将越来越趋于收敛。头部实验室之间的差距可能会变得小得多，这使得保护某一家公司的前沿优势变得更加困难。
查看原文
查看缓存全文

缓存时间: 2026/10/04 21:16

这解释了 Anthropic 为什么反感中国模型和开源。

Anthropic 的 Nick Marwell 表示，前沿 AI 最终可能需要 100 亿美元、1000 亿美元甚至 1 万亿美元规模的训练投入。

他的论点是：如果一家公司花这么多钱去推动前沿，竞争对手不应该在几周后就能通过蒸馏这个模型，推出一个廉价的复制品。

这才是真正的战场所在。问题在于，并不是每个中国模型都只是蒸馏的产物。中国的实验室正在真金白银地砸训练，开发属于自己的技术手段，在优化和效率方面做得极其出色。

而且随着模型不断进步，我认为各家的能力水平会越来越趋同。头部实验室之间的差距可能会小得多，这会让保护某一家公司的前沿优势变得难上加难。

相似文章

蒸馏护城河（6分钟阅读）

TLDR AI

文章认为，AI公司建立在昂贵模型训练之上的竞争护城河很容易被蒸馏（distillation）所削弱——即通过重复API查询来复制模型，行业实践如xAI在OpenAI模型上训练Grok、Anthropic指控中国实验室挖掘Claude等行为都印证了这一点。

@rohanpaul_ai: 这是来自一位前Meta产品经理。

X AI KOLs Following

Xiaoyin Qu 认为，美欧企业将抛弃OpenAI和Anthropic，转而选择中国模型，因为这些模型可以托管在自己的GPU上，并用专有数据进行微调，从而提供更多控制力和合规性。