Kapitsa：专为 Qwen 和 Nemotron 打造的开源 Apple Silicon 优化 Metal 引擎。查看 Qwen 27B、Nemotron 等 8 个模型在 M1 Pro（16GB）、M4 Pro（48GB）和 M5 Max（128GB）上的基准测试

嘿，我是 Ye，在 Nace.ai 做 vibe 编程，我们和很多企业合作，很多时候我们在他们的内网中工作，没有互联网访问，云托管的模型也很过时。考虑到我们使用的是 MacBook，我们构建了 Kapitsa——一个面向 Apple Silicon 的开源（Apache 2.0）推理引擎，用于在本地模型上运行编码代理，这些模型真的能装进你的 Mac。Kapitsa 只运行两个模型家族：Qwen（3.5 4B、3.8 27B、3.6 35B-A3B，以及 128 GB Mac 上的 3.8 Flash-Next）和 NVIDIA Nemotron（3.5 Lightning、Bolt 和 Super-VL，以及 Dory 4B（这是新的，我们还没有对 Dory 做太多测试）。专注于这些模型使我们能够为 Apple Silicon 上的每个模型定制 Metal 内核。GitHub: https://github.com/nace-ai/kapitsa - 它是开源的，Apache 2.0 协议。快速开始 brew install nace-ai/tap/kapitsa # 或者: curl -fsSL https://raw.githubusercontent.com/nace-ai/kapitsa/main/install.sh | bash kapitsa opencode --model 35b # 或者 kapitsa claude, kapitsa codex 等解码基准测试（我们 Nace 不喜欢基准测试，不要相信它们）相反，我们为你构建了一个相当简单的 CLI，让你可以自己进行基准测试。请提交你的结果，我们正在为这个项目寻找贡献者 ^^ kapitsa bench MacBook Pro M4 Pro (2024), 48 GB：Qwen 模型 tok/s Kapitsa mlx-serve oMLX MTPLX Ollama MLX llama.cpp LM Studio Rapid-MLX Qwen3.8 27B 63 54 45 36 32 28 18 15 — Qwen3.6 35B-A3B 154 124 127 80 89 86 69 86 — Qwen3.5 4B 179 137 102 104 109 88 70 81 98 MacBook Pro M4 Pro (2024), 48 GB：Nemotron tok/s Kapitsa oMLX MLX llama.cpp Nemotron 3.5 Bolt 74B-A9B 64 35 32 ✗ Nemotron 3.5 Lightning 30B-A3B 106 — 65 — Nemotron Dory1.0 4B 64 ✗ 48 6 (哈哈) MacBook Pro M5 Max (2025), 128 GB：Qwen tok/s Kapitsa oMLX Ollama LM Studio MTPLX MLX mlx-serve llama.cpp Qwen3.6 35B-A3B 272 232 166 127 123 112 — — Qwen3.8 27B 115 — 68 32 69 30 — — Qwen3.5 4B 294 — 213 154 175 135 — — Qwen3.8 Flash-Next 180B-A7B 105 107 60 ✗ 88 77 108 96 Flash-Next 是 Kapitsa 不是最快的模型：mlx-serve 和 oMLX 领先 2-3%。（我们的领导团队告诉我们，如果这个项目获得 1k stars，他们就会给我们买 128gb 的机器来优化 flash next xd）MacBook Pro M5 Max(2025), 128 GB：Nemotron tok/s Kapitsa oMLX mlx-serve llama.cpp Ollama MLX MTPLX LM Studio Lightning 30B-A3B 239 190 190 159 153 139 131 110 Super-VL 120B-A12B 85 52 — 66 64 46 — 61 Bolt 74B-A9B 127 — ✗ ✗ ✗ — ✗ ✗ MacBook Pro M1 Pro, 16 GB (2021) tok/s Kapitsa mlx-serve oMLX Ollama LM Studio MLX MTPLX llama.cpp Qwen3.5 4B 85 62 55 55 47 46 42 38 Nemotron Dory1.0 4B 40 — ✗ — — 30 — 4 速度从何而来 1）针对每个架构的自定义 Metal 内核（Qwen3.5 家族使用 Gated DeltaNet + attention，Nemotron-H 使用 Mamba-2 + attention + LatentMoE）以及每种权重格式（MLX affine、NVFP4、NVIDIA 的 2-bit 专家）。2）投机解码：草稿模型提出一个块，模型一次通过进行检查（Qwen 27B 和 35B 使用 DFlash2，4B 使用 z-lab 的 DFlash，Lightning 使用 DSpark，Bolt 和 Super-VL 使用 NVIDIA 的 LiLiCorr）。3）与混合模型兼容的缓存。它们的循环层会破坏普通的 KV 前缀缓存，因此每轮对话在轮次边界保留 KV 加循环状态检查点，引擎在你阅读上一个回答的同时将其读入缓存。4）在 27B 和 Bolt 上，每层部分预填充在 Neural Engine 上与 GPU 并行运行。（提升最大）5）多个同时在途的请求（代理的子代理、opencode 的标题请求）共享 GPU 批次而不是排队。我们还确保投机不会改变模型的输出：贪婪解码保留模型自身会选择的最长草稿前缀，采样基本上与标准投机采样相同，因此 token 来自模型自身的分布。质量会略有下降，因为使用的是量化 4-bit 权重，其他 MLX 引擎也是如此。虽然你可以在需要时使用 --model 27b:6bit 来选择，但我们推荐使用 4bit，它完全够用。CLI brew install nace-ai/tap/kapitsa kapitsa doctor # 哪些模型和上下文大小适合这台 Mac kapitsa opencode --model 27b # 或者: kapitsa pi / claude / codex kapitsa serve 启动一个服务器，可与你的 claude、codex 等配合使用，或处理任何自定义请求。kapitsa bench 在你的 Mac 上运行相同的基准测试，kapitsa bench --submit 会将其添加到社区结果中（它会先显示 JSON 并询问你）。M2 和 M3 Mac，以及 16-36 GB 的机器，是我们最想要的结果。（我们需要各种不同的设备）为什么选择 Qwen 和 Nemotron 我们选择了这里的人们用于本地编码的模型，并为这些架构编写了内核。其他 Qwen3.5 家族的检查点可以从 Hugging Face、文件夹或 GGUF 加载；其他架构则不行，添加一个是真正的工作量。[接下来的计划，如果你想说的话：Qwen 4 发布时支持，Flash Next] 需要提及的事项 仅支持 Apple silicon：M1 或更新的芯片，macOS 14+。Lightning 和 Dory 仅支持文本。全新代码，所以请预期会有 bug。欢迎提 Issue，我们为这个项目预留了不少 Fable 额度 ^^。致谢 z-lab (DFlash) - 棒极了的想法，DeepSeek (DSpark)，Inco(DFlash2) - 很酷，Qwen (MTP 头)，NVIDIA (LiLiCorr 和 Nemotron 检查点)，MLX(量化)，mlx-serve(太棒了) Fable 5.1, Elorian Glimpse, Opus 5.5, Nace.AI 编码模型。请求 请亲自尝试并上传你的基准测试。这是一个全新的代码库，欢迎提交 bug 报告和建议。