Kimi K3 三个月后回顾:参数太大几乎无人能本地运行,更小的模型已经追了上来
摘要
三个月后回顾 Kimi K3:虽以开源最强姿态发布,但 2.8T 参数使其几乎无法本地运行,且已被 GLM-5.3 等更小模型追平,商用许可条款也限制了其使用范围。
K3 在七月发布时被热炒为可下载的最强开源模型,在 Artificial Analysis 上得分 57,与 Opus 4.8 和 GPT-5.5 不相上下。我回头看了看现在实际运行它是什么样子,参考了 Unsloth 的量化文档、模型卡、AA 和许可证。简短结论:它依然是一头巨兽,但整个领域已经追了上来。完整模型体积 1.56 TB。104B 的激活参数帮不了你省内存,全部 2.8T 参数都必须加载。Unsloth 推荐的最小量化版本是 594 GB,大约需要 610 GB 的内存+显存。512 GB 装不下,Unsloth 说他们仍在努力把它压到这个以下。1-bit 量化与完整模型在下一个 token 上的一致率为 79%。2-bit 能到 90%,但体积是 861 GB。如果内存装得下,B200 上大约 20 tok/s。装不下就会卸载到硬盘,速度慢得像爬。它现在在 AA 指数上得分 44。这个下滑大部分是因为 AA 改了指数算法,而不是模型本身退步,但 GLM-5.3(753B)现在得分 45,Step 5 Preview(600B)以 44 分与它持平。API 也很慢。Kimi 自家 API 上只有 43 tok/s,在 AA 的智能体基准测试中,每个任务平均耗时近一小时、成本超过 10 美元。人们容易忽略的一点是许可证。它不是 MIT。如果你的公司经营任何模型即服务业务,且在任意 12 个月内总收入超过 2000 万美元,那么商用 K3 前需要与月之暗面另签协议,即便 K3 本身没让你赚到一分钱。需要说明:AA 测试的是通过 API 调用的最大推理强度下的完整模型。我没能找到 1-bit 量化版本的真实任务基准测试,所以 79% 的 token 一致率只是一个替代指标,不是质量分数。所以……真的有人在家跑 K3 吗?如果你有 600 GB 可用,你会选 1-bit 的 K3,还是选量化程度高得多的 GLM-5.3 之类?
相似文章
Kimi K3 是迄今为止发布的最大开源权重模型,但你仍然无法运行它。
Moonshot 发布了最大的开源权重模型 Kimi K3(2.8 万亿参数),拥有出色的基准测试成绩,但自托管需要巨大硬件,对大多数用户而言,API 接入是更实际的选择。
@eliebakouch: Kimi K3(总参数2.8万亿)是一个开源权重模型,与fable和gpt 5.6 sol竞争,同时价格便宜得多,……
Kimi K3 是一个开源权重的2.8万亿参数大语言模型,采用了线性注意力、潜在MoE和新激活函数等创新,以更低成本提供有竞争力的性能。
关于Kimi K3:其能力与相关不满(70分钟阅读)
Kimi K3是Moonshot AI推出的2.8T参数开放模型,基准测试表现强劲,但可能过度优化,且落后顶级闭源模型数月。它从Claude蒸馏而来,其发布可能先于IPO。
Kimi K3 就像展窗里的 F1 赛车。
Moonshot 发布了 Kimi K3,这是一个极其庞大的 AI 模型,即便在配备多块 RTX 6000 Blackwell GPU 的本地工作站上也无法原生运行,促使作者尝试通过破解或蒸馏的方式让它跑起来。
Kimi K3 显示开放权重模型即将超越前沿
开放权重模型 Kimi K3 展示了开放权重模型在性能上正在接近或超越专有前沿模型。