@QuixiAI：@Kimi_Moonshot K2.6 在我的 mi300x 上跑出了 56 tps（单请求），接下来做吞吐测试
摘要
Kimi K2.6 在单张 MI300X GPU 上达到 56 token/s，用户计划进一步测试整体吞吐。
@Kimi_Moonshot K2.6 在我的 mi300x 上跑出了 56 tps（单请求），接下来做吞吐测试
查看缓存全文
缓存时间: 2026/04/21 13:02
@Kimi_Moonshot K2.6 在我的 mi300x 上跑，单请求 56 tps。接下来做吞吐量测试
相似文章
@HotAisle：Kimi K2.6 + DFlash：8×MI300X 上 508 tok/s，自回归基线 90 tok/s 提升至 5.6 倍
Kimi K2.6 搭配 DFlash 推理系统在 8×AMD MI300X 上实现 508 tokens/s，相比 90 tokens/s 基线零质量损失地提升 5.6 倍吞吐。
我使用8块B300部署了Kimi K3（2.8T参数）。速率92令牌/秒，每百万令牌190美元
本文描述了使用8块B300 GPU托管具有2.8万亿参数的Kimi K3 AI模型，实现了每秒92个令牌，成本为每百万令牌190美元，同时与Unsloth的动态GGUF量化方法进行了比较。
Kimi K3 完整模型在 16x GB10 集群上运行，速度超过 20 tps
Kimi K3 完整模型在 16x GB10 集群上运行，平均每秒处理 20+ 个 token，并计划发布 vllm 镜像和说明。
@jun_song：正在尝试将 Kimi-K2.6 (1T) 适配到 128GB Mac 上。目标是达到 40tok/s，并尽可能减少质量损失。
一位开发者正在优化 Kimi-K2.6 (1T) 模型，使其能在 128GB Mac 上高效运行，目标速度为 40 tok/s，同时尽可能降低质量损失。
Kimi K3 在家用实验室的首批结果 ~ 4t/s
用户分享了在家用实验室运行 Kimi K3 的首批结果，配置为 768GB DDR5 和 2x5090，使用 llama.cpp 分支和 Q2_K 量化，报告预填充速度为 50-70 tps，解码 tps 随时间增长。