基准测试：Recursive 的 Flint 40B A2.5B Q4 在配备 48GB 内存的 MacBook Pro M4 Pro 上，使用针对 Apple Silicon 优化的开源引擎 Kapitsa，达到 128 tok/s，兼容 Claude/Codex/Pi/OpenCode。

大家好，我是 Ye，是 Kapitsa 的贡献者之一。Kapitsa 是一款开源推理引擎，专门针对 Apple Silicon（从 M1 到 M6 芯片）进行了优化，用来运行普通 MacBook 能装得下的 Qwen 和 Nemotron 模型。它采用定制编写的 Metal 内核，让我们能够针对每款芯片和每个模型分别进行优化。https://github.com/nace-ai/kapitsa/ 试试看（需要配备至少 32 GB 内存的 Mac；下载大小为 22.6 GB）：brew install nace-ai/tap/kapitsa kapitsa serve --model flint # 在 localhost 上提供 OpenAI 和 Anthropic API kapitsa opencode --model flint # 或 claude、codex、pi kapitsa bench Recursive 今天发布了一款模型，名为 Flint。他们称，这款新模型针对在 32 GB 以上内存的 Mac 上编程进行了优化，性能超过 Qwen 的 35b 稀疏 MoE 模型，并接近 Qwen 27b 稠密模型。我们随即为 Kapitsa 添加了 Flint 支持，在 M5 之前的芯片上实现了最先进的解码/预填充性能。推测解码：我们还启动了一套配备 8 张 H200 的服务器，为 KFlash 推测解码训练树状草稿模型，专门针对 Flint Q4，让它在任何 M 系列芯片上都能运行得更快。内部测试中，在完全不损失准确率的情况下，解码速度已在当前数据的基础上提升至 1.4 倍，希望能进一步推到约 1.5 倍。计划于周一发布。根据我们的测量，在 Q4 Flint 上训练的 KFlash 树状草稿模型，在 FP16 上也表现得非常好。以下是基准测试：Recursive Flint 基准测试 提示词读取速度 生成速度 测试配置。MacBook Pro 16（2024），M4 Pro，48 GB，macOS 27.0.1，接通电源，高功率模式。采用模型卡中的采样参数：T 1.0、top_p 0.95、top_k 20。每次只有一个引擎使用 GPU。所有测试均未使用推测解码：Flint 目前还没有草稿模型。Kapitsa rec 0.1.0 llama.cpp b11804 解码，短上下文（token/秒）127.9 126.6 79.6 预填充，4K token 提示词（token/秒）968 796 977 预填充，16K token 提示词（token/秒）817 699 786 128K 上下文下的解码（token/秒，单个请求）45.7 35.2 23.8 128K 下的预填充（token/秒，单个请求）300 262 199 后续轮次，首 token 延迟（秒）0.13 0.41 0.23 峰值内存（GB）23.3 27.9 26.9 这些数据说明了什么：短上下文：解码速度与 rec（Recursive 自家的引擎）持平。两者相差 1%，而在贪心解码下，rec 领先 0.6%。两者的解码速度都是 llama.cpp 的 1.6 倍。长上下文：Kapitsa 开始领先。它相对 rec 的解码速度优势随上下文长度增长，从 8K 时的 1.06 倍增至 128K 时的 1.30 倍（图表中包含了所有数据点）。与 llama.cpp 相比，在不超过 64K 的上下文下为其 1.6 倍，在 128K 时为其 1.9 倍。预填充：在所有长度下，速度都是 rec 的 1.1–1.2 倍。llama.cpp 读取短提示词略快一些（4K 及以下快 1–8%），在 8K 时持平。从 16K 开始，Kapitsa 领先，在 128K 时达到其 1.5 倍。后续轮次的启动速度是 rec 的 3 倍：在已缓存的第二轮对话中，首 token 延迟分别为 0.13 秒和 0.41 秒。遍历测试脚本位于仓库中：bench/results/2026-10-22-flint-m4pro。需要说明的几点：Flint 总是先推理再回答，因此在每个引擎中，它的推理 token 都计入解码。仅在一台 Mac 上测试。我们还没有在 M5 上运行过 Flint。代码很新，所以可能会有 bug。M5 及更新芯片上的预填充速度较慢，尚未优化，仍在开发中。如果 star 数突破 1000，我们的 CTO 就会给我们买一台配备 128 GB 内存的 MBP M5 Max 来做优化，哈哈。希望大家帮忙的地方：我们有一个命令叫作：kapitsa bench，它会提交一个 PR，包含你对我们尚未收集到基准数据的模型所做的测试结果。对于 Flint，我们仍然缺少多种设备上的数据，欢迎大家贡献并协助我们进行基准测试。我们仍需要 M5 Max、M5 Pro、M5 Ultra 设备来检验 Flint 的加速效果。kapitsa 0.2.7 bench 很乐意回答问题，也欢迎大家就项目的发展方向提出建议。