Kimi K3 三个月后回顾:参数太大几乎无人能本地运行,更小的模型已经追了上来

Reddit r/LocalLLaMA 新闻

摘要

三个月后回顾 Kimi K3:虽以开源最强姿态发布,但 2.8T 参数使其几乎无法本地运行,且已被 GLM-5.3 等更小模型追平,商用许可条款也限制了其使用范围。

K3 在七月发布时被热炒为可下载的最强开源模型,在 Artificial Analysis 上得分 57,与 Opus 4.8 和 GPT-5.5 不相上下。我回头看了看现在实际运行它是什么样子,参考了 Unsloth 的量化文档、模型卡、AA 和许可证。简短结论:它依然是一头巨兽,但整个领域已经追了上来。完整模型体积 1.56 TB。104B 的激活参数帮不了你省内存,全部 2.8T 参数都必须加载。Unsloth 推荐的最小量化版本是 594 GB,大约需要 610 GB 的内存+显存。512 GB 装不下,Unsloth 说他们仍在努力把它压到这个以下。1-bit 量化与完整模型在下一个 token 上的一致率为 79%。2-bit 能到 90%,但体积是 861 GB。如果内存装得下,B200 上大约 20 tok/s。装不下就会卸载到硬盘,速度慢得像爬。它现在在 AA 指数上得分 44。这个下滑大部分是因为 AA 改了指数算法,而不是模型本身退步,但 GLM-5.3(753B)现在得分 45,Step 5 Preview(600B)以 44 分与它持平。API 也很慢。Kimi 自家 API 上只有 43 tok/s,在 AA 的智能体基准测试中,每个任务平均耗时近一小时、成本超过 10 美元。人们容易忽略的一点是许可证。它不是 MIT。如果你的公司经营任何模型即服务业务,且在任意 12 个月内总收入超过 2000 万美元,那么商用 K3 前需要与月之暗面另签协议,即便 K3 本身没让你赚到一分钱。需要说明:AA 测试的是通过 API 调用的最大推理强度下的完整模型。我没能找到 1-bit 量化版本的真实任务基准测试,所以 79% 的 token 一致率只是一个替代指标,不是质量分数。所以……真的有人在家跑 K3 吗?如果你有 600 GB 可用,你会选 1-bit 的 K3,还是选量化程度高得多的 GLM-5.3 之类?
查看原文

相似文章

Kimi K3 就像展窗里的 F1 赛车。

Reddit r/LocalLLaMA

Moonshot 发布了 Kimi K3,这是一个极其庞大的 AI 模型,即便在配备多块 RTX 6000 Blackwell GPU 的本地工作站上也无法原生运行,促使作者尝试通过破解或蒸馏的方式让它跑起来。