Kimi K3 在家用实验室的首批结果 ~ 4t/s

Reddit r/LocalLLaMA 新闻

摘要

用户分享了在家用实验室运行 Kimi K3 的首批结果,配置为 768GB DDR5 和 2x5090,使用 llama.cpp 分支和 Q2_K 量化,报告预填充速度为 50-70 tps,解码 tps 随时间增长。

我得到的 768GB DDR5 和 2x5090 的结果比预期更好。使用分支 https://github.com/pwilkin/llama.cpp/tree/kimi-k3-text 和 https://huggingface.co/GrEarl/Kimi-K3-GGUF Q2_K 量化。大提示词的预填充速度为 50-70 tps。最有趣的是解码 tps 随时间增长。也许是某种预热或交换机制。llama-bench 崩溃了,所以无法分享。
查看原文

相似文章

我成功运行了Kimi-k3......

Reddit r/LocalLLaMA

用户成功使用llama.cpp在高端硬件上运行Kimi-k3模型,实现了较低的每秒token数(提示评估0.41,生成0.23)。

使用29 GB内存以0.50 tok/s运行Kimi K3

Hacker News Top

WASTE是一个新的开源C语言推理引擎,它从磁盘流式加载专家权重,在仅29 GB内存的消费级笔记本电脑上运行拥有2.78万亿参数的Kimi K3模型,实现了0.49–0.54 tokens/s的速度。