Kimi K3 在家用实验室的首批结果 ~ 4 tokens/秒
摘要
家用实验室环境下 Kimi K3 的首批基准测试结果显示，推理速度约为每秒 4 个 token。
暂无内容
相似文章
使用29 GB内存以0.50 tok/s运行Kimi K3
WASTE是一个新的开源C语言推理引擎，它从磁盘流式加载专家权重，在仅29 GB内存的消费级笔记本电脑上运行拥有2.78万亿参数的Kimi K3模型，实现了0.49–0.54 tokens/s的速度。
Kimi K3 基准测试
Kimi K3 在最近的 AI 基准测试中取得了显著成果，展示了其能力。
我成功运行了Kimi-k3......
用户成功使用llama.cpp在高端硬件上运行Kimi-k3模型，实现了较低的每秒token数（提示评估0.41，生成0.23）。
@HotAisle：Kimi K2.6 + DFlash：8×MI300X 上 508 tok/s，自回归基线 90 tok/s 提升至 5.6 倍
Kimi K2.6 搭配 DFlash 推理系统在 8×AMD MI300X 上实现 508 tokens/s，相比 90 tokens/s 基线零质量损失地提升 5.6 倍吞吐。
Kimi K3 编程基准测试
Kimi K3 编程基准测试文章，讨论 Kimi K3 模型在编程任务上的表现。