tandem.cpp：Qwen3.8-Flash-Next 在单张 4090 + 64 GB 内存上达到 97 tok/s，速度是 llama.cpp 的 3.3 倍，适用于任何 MoE

Reddit r/LocalLLaMA 工具
llama.cpp moe inference gpu-offloading open-source performance

摘要

tandem.cpp 是一套针对 llama.cpp 的补丁，通过将高频使用的专家保留在 GPU 上、其余专家交由 CPU 处理，实现对超出显存容量的 MoE 模型的卸载运行。在单张 RTX 4090 上运行 Qwen3.8-Flash-Next 时，速度达到 97.3 tok/s（是 llama.cpp 的 3.3 倍），对其他 MoE 模型也有性能提升。

tandem.cpp 是一套用于 llama.cpp 的补丁，能让无法完全装入显存的 MoE 模型运行得更快。它将最常用的专家保留在 GPU 上，并让 CPU 协助处理其余专家，适用于 llama.cpp 支持的所有 MoE 模型。其目标场景是单用户解码。消费级 PC（i5-12400F、64 GB DDR4、RTX 4090），GSM8K，解码速度（token/秒）：模型 llama.cpp tandem.cpp Strata Qwen3.8-Flash-Next IQ3_S + MTP，贪心解码 29.8 97.3（3.3×）103.6 相同模型，使用 Qwen 默认采样 29.4 96.1（3.3×）98.1 gpt-oss-120b，贪心解码 27.8 51.5（1.85×）— gpt-oss-120b，推荐采样设置 27.7 48.0（1.73×）— 仅针对 Qwen3.8 进行了调优，但其他无法完全装入显存的 MoE 模型也能获得加速：通常为 1.4–2.1×（gpt-oss-120b、GLM-4.5-Air、Qwen3.6-35B-A3B、DeepSeek-V4.1）。对于 64k 长度的提示词，提示词处理速度提升至原来的 1.4–1.8 倍。此处展示的是 Strata 的精确模式（与 llama.cpp 一样，计算路由选中的每一个专家）。其默认模式会跳过排名较低的专家，速度更快，但属于近似计算（此处为 127.1）。这是一个独立项目，与 ggml-org 无隶属关系。构建及运行命令，以及在 4 台机器上的完整测试结果：https://github.com/ewhacc/tandem.cpp
查看原文

相似文章

**Qwen 3.8 Flash Next-GSQ-RCO-IQ2_XS：仅凭一张 RTX 3060 12GB + 16GB DDR4 内存即可达到约 21 tok/s（未做 gate pruning，100% 位精确）**

Reddit r/LocalLLaMA

一位开发者展示了一个为 llama.cpp 定制的 `--moe-direct-io` 功能，在仅配备 12GB 显存的 RTX 3060 和 16GB 内存的环境下运行 125B MoE 模型 Qwen3.5-Flash Next（IQ2_XS 量化，68GB），实现了 10–15 倍的加速（20–24 tok/s），且输出结果与官方版本逐位一致（bit-exact）。