@unwind_ai_:中国 Kimi K2.6 居然自主在 Mac 上用 Zig 写了个本地推理运行时,比 LM Studio 快 20%
摘要
Kimi K2.6 自主迭代 14 轮、调用工具 4,000+ 次,在 Mac 上用 Zig 写出本地推理运行时,性能比 LM Studio 高 20%,全程无人干预,已开源。
查看缓存全文
缓存时间: 2026/04/21 09:29
中国 Kimi K2.6 居然在 Mac 上用 Zig 写了一个本地推理运行时,全程无人干预。14 轮迭代、4,000+ 次工具调用、12 小时跑完,最终比 LM Studio 快 20%。而且开源了。
相似文章
@linexjlin: K2.6 花了 12 个小时, 在 Mac 上用 zig 语言 从 0 写了一个 LLM 推理引擎并,并将 qwen 3.5 0.8B 推理速度由 15 tok/s 优化到了 193.1 tok/s
Developer built a Zig-based LLM inference engine from scratch on Mac in 12h, boosting Qwen 3.5 0.8B speed from 15 to 193 tok/s.
@noisyb0y1: 有人逆向工程了Kimi K2.6,这彻底终结了“更大模型=更优AI”的说法。1万亿参数…
对Kimi K2.6的逆向工程分析显示,其架构优先考虑编排和技能注入,而非原始参数数量,通过多智能体协作无需再训练即可获得高SWE-Bench分数。
@kirillk_web3:你明白 Kimi K2.6 刚刚发布意味着什么吗?开源。免费。1 万亿参数。这才是大家没在谈论的关键……
Kimi K2.6 作为一款免费、开源的 1 万亿参数模型正式推出,能够运行 300 个并行智能体以进行持续执行,据报在 SWE-Bench Pro 任务上的表现优于 Claude Opus 4.6。
使用29 GB内存以0.50 tok/s运行Kimi K3
WASTE是一个新的开源C语言推理引擎,它从磁盘流式加载专家权重,在仅29 GB内存的消费级笔记本电脑上运行拥有2.78万亿参数的Kimi K3模型,实现了0.49–0.54 tokens/s的速度。
@akshay_pachaar: 这个推理引擎运行 LLM 比 llama.cpp 快 4 倍:(Qwen3.5-9B 在 16GB Mac 上达到 92 tokens/s)我在一台…
基准测试帖:Mirai 开源的推理引擎 Uzu 在 16GB M5 MacBook Pro 上运行 Qwen3.5-9B 达到 92.1 tokens/s——比 llama.cpp(22 tok/s)和 MLX(25.1 tok/s)快约 4 倍——通过使用基于树的投机解码和 Weaver 草稿模型,突破了普通本地解码的内存带宽瓶颈。