@witcheer：Gemma 4 发布了一个12B版本。我将其放在RTX 5090上与31B的兄弟型号进行对比。当你把一个模型从31B裁剪到12B时，你到底失去了什么……

Gemma 4 发布了 12B 版本。
我将其放在 RTX 5090 上与其 31B 兄弟模型进行了对比。

当你把一个模型从 31B 缩减到 12B，你到底失去了什么？

~ 推理几乎不受影响
GSM8K（数学）97.5 > 96.4 (↓1.1)
ARC-C（科学推理）97.6 > 94.0 (↓3.6)

~ 知识断崖式下跌
MMLU（世界知识）87.8 > 78.9 (↓8.9)
HellaSwag（常识推理）92.0 > 81.6 (↓10.4)

参数存储的是事实，而非思考能力。你删除的那 19B 参数，大部分是模型存放琐事和世界先验知识的地方，去掉之后回忆能力崩溃，而推理机制几乎完好无损。

12B 的推理能力几乎与其大哥相当，只是知识储备更少。

122 tok/s 对比 53（生成速度快 2.3 倍），显存占用约 10GB 而非约 24GB，这意味着在 32GB 显卡上你能省出 20GB+ 用于长上下文或运行第二个模型。

因此，取决于你的工作负载：

推理 / 数学 / 智能体循环 = 12B 几乎免费

无检索的广域知识问答 = 这才是唯一值得为 31B 付费的任务。