Kimi K3 权重今天发布。我们本周将在A100、H200和B300上部署，而A100的内存需求已经显得很紧张了

简而言之；我们将在A100（没错，我们会尝试看看能否撑住）、H200和B300上托管K3。本周内会给出A100和H200的结果，同时本周末搭建B300集群，结果可能下周出来。权重预计今天上传到Hugging Face（Moonshot承诺7月27日）。从他们的平台文档已知信息：总参数2.8万亿，MoE架构有896个专家，每个token激活16个专家，100万上下文，支持视觉。由于他们使用MXFP4进行了量化感知训练，下载量应在1.4TB左右。 我们坐下来仔细计算了内存需求，既然大家可能都准备拉取权重，这里就分享一下。我们拥有A100 80GB、H200和B300的容量，原本计划在这三者上都跑起来。但当我们实际计算内存时：8块A100共640GB，而权重约1.4TB，这意味着在分配KV缓存之前就需要三个节点。更糟糕的是，安培架构没有FP4甚至FP8张量核心，所以要么反量化，要么运行INT4内核——而这并非此次发布的目标。我们仍然会进行基准测试，因为总该有人拿出真实数据，但我们预计结果会很惨淡！ 8块H200大约1.13TB，仍然无法放入一个节点，最少需要两节点配置，每个token都要承担互联成本。8块B300大约2.3TB，这是唯一能将整个模型放入单节点并留有长上下文KV缓存空间的配置。而且Blackwell具有原生FP4支持，这显然就是Moonshot量化所针对的架构。这些B300本周末将上线，我们会在本周末搭建集群——目前所有提前预订硬件的人都是在不了解条款的情况下进行的。Moonshot自己的模型卡也异常诚实地指出了弱点：如果智能体框架截断其思考历史，质量会下降；在模棱两可的情况下，模型倾向于直接行动而不是询问；并且他们承认即使基准测试接近，聊天体验仍然落后于Fable 5和Sol。本周末前我们将提供所有三种GPU配置下的tok/s、ttft和每百万token成本数据。如果您在测试矩阵中希望包含特定的批次大小、上下文长度或并行设置，请评论，我们会添加。