Kimi K3 在家用实验室的首批结果 ~ 4t/s
摘要
用户分享了在家用实验室运行 Kimi K3 的首批结果,配置为 768GB DDR5 和 2x5090,使用 llama.cpp 分支和 Q2_K 量化,报告预填充速度为 50-70 tps,解码 tps 随时间增长。
我得到的 768GB DDR5 和 2x5090 的结果比预期更好。使用分支 https://github.com/pwilkin/llama.cpp/tree/kimi-k3-text 和 https://huggingface.co/GrEarl/Kimi-K3-GGUF Q2_K 量化。大提示词的预填充速度为 50-70 tps。最有趣的是解码 tps 随时间增长。也许是某种预热或交换机制。llama-bench 崩溃了,所以无法分享。
相似文章
Kimi K3 完整模型在 16x GB10 集群上运行,速度超过 20 tps
Kimi K3 完整模型在 16x GB10 集群上运行,平均每秒处理 20+ 个 token,并计划发布 vllm 镜像和说明。
我成功运行了Kimi-k3......
用户成功使用llama.cpp在高端硬件上运行Kimi-k3模型,实现了较低的每秒token数(提示评估0.41,生成0.23)。
用户成功通过25GbE以太网在80块RTX 5090上运行Kimi K3。
用户使用仅GDDR7和以太网(无HBM)在80块RTX 5090 GPU上运行Kimi K3,这是一个2.8T参数的开放权重MoE模型,实现了单流20 tok/s,这是首个在消费级硬件上运行的前沿模型。
Kimi K3(2.8T)在MacBook Pro上以1 token/s运行,从四个固态硬盘流式传输
Deltafin是一款开源工具,使得能够在像MacBook Pro这样的消费级硬件上运行完整的Kimi K3 2.8T参数模型,通过从固态硬盘流式传输数据,实现约每秒1个token的性能。
使用29 GB内存以0.50 tok/s运行Kimi K3
WASTE是一个新的开源C语言推理引擎,它从磁盘流式加载专家权重,在仅29 GB内存的消费级笔记本电脑上运行拥有2.78万亿参数的Kimi K3模型,实现了0.49–0.54 tokens/s的速度。