我成功运行了Kimi-k3......
摘要
用户成功使用llama.cpp在高端硬件上运行Kimi-k3模型，实现了较低的每秒token数（提示评估0.41，生成0.23）。
结果：提示评估：40个token / 97.5秒 → 0.41 token/秒；生成：400个token / 1769.9秒 → 0.23 token/秒；总计：440个token / 1867秒（31分钟）提示："编写一个C++函数，原地反转链表。解释指针操作。"运行方式：使用llama.cpp GitHub上的PR#26185，并用同一个PR转换为GGUF格式。硬件：9965WX PRO，512 GB DDR5 6400，RTX 6000 PRO 96GB x2，PCIe Gen 5 RAID NVMe RAID卡。2块4TB 9100 Pro组成RAID 0（约29 GB/s）运行信息：# 其他参数默认，mmap开启（默认）。CUDA_VISIBLE_DEVICES=0,1 llama-server \ -m k3-00001-of-00033.gguf \ --n-cpu-moe 93 -ngl 99 -c 8192 -fa on --jinja下一步：使用2个25GbE接口将工作站连接到100GbE网络（4xSpark集群），通过RPC服务器。
相似文章
Kimi K3 完整模型在 16x GB10 集群上运行，速度超过 20 tps
Kimi K3 完整模型在 16x GB10 集群上运行，平均每秒处理 20+ 个 token，并计划发布 vllm 镜像和说明。
使用29 GB内存以0.50 tok/s运行Kimi K3
WASTE是一个新的开源C语言推理引擎，它从磁盘流式加载专家权重，在仅29 GB内存的消费级笔记本电脑上运行拥有2.78万亿参数的Kimi K3模型，实现了0.49–0.54 tokens/s的速度。
Kimi K3 在家用实验室的首批结果 ~ 4t/s
用户分享了在家用实验室运行 Kimi K3 的首批结果，配置为 768GB DDR5 和 2x5090，使用 llama.cpp 分支和 Q2_K 量化，报告预填充速度为 50-70 tps，解码 tps 随时间增长。
@UnTalNixon_exe: 忘掉GPU和百万美元集群吧。他们刚刚让全球最大的开源模型（Kimi K3 – 2.78万亿参数）……
一个名为 kimi-k3-in-c 的新工具，在单个 CPU 上以低至 8.24 GB 的内存运行 2.78T 参数的 Kimi K3 开源模型，从磁盘流式加载专家，并以每 token 10-32 秒的确定性输出运行。
在 C 语言中、于 CPU 上运行 Kimi K3（c99 和 cpu）
一个项目声称可以通过从 NVMe SSD 流式加载专家权重并使用 MXFP4 压缩，在仅有 8GB 内存的 CPU 上运行拥有 2.78T 参数的 MoE 模型 Kimi K3，以速度换取内存效率。