难以置信！我使用llama.cpp中的mmap函数，将Qwen3.8-Flash-Next IQ3_XSS放入16G+64G RAM中，速度仍达到26t/s。
摘要
用户成功使用llama.cpp中的mmap函数，将Qwen3.8-Flash-Next IQ3_XSS模型放入16GB+64GB RAM中，达到26 tokens/秒的速度，这超过了更大的非MOE 30B模型。
这甚至比非MOE 30B模型更快，后者仅达到10 t/s。设备：5070it 16GB + DDR5 6000MHz 64GB + CPU: 9800X3D
相似文章
Qwen3.8-Flash-Next 在 NVIDIA 5090 和 64GB 内存配置下使用 Llama.cpp - 似乎未使用 RAM？
用户分享了在配备 NVIDIA 5090 GPU 和 64GB RAM 的系统上使用 Llama.cpp 运行 Qwen3.8-Flash-Next 模型的性能结果和设置细节，指出推理过程中 RAM 使用量异常低。
**Qwen 3.8 Flash Next-GSQ-RCO-IQ2_XS：仅凭一张 RTX 3060 12GB + 16GB DDR4 内存即可达到约 21 tok/s（未做 gate pruning，100% 位精确）**
一位开发者展示了一个为 llama.cpp 定制的 `--moe-direct-io` 功能，在仅配备 12GB 显存的 RTX 3060 和 16GB 内存的环境下运行 125B MoE 模型 Qwen3.5-Flash Next（IQ2_XS 量化，68GB），实现了 10–15 倍的加速（20–24 tok/s），且输出结果与官方版本逐位一致（bit-exact）。
在6GB显存和16GB系统内存上运行Qwen 3.8 flash next的体验
一位用户分享了在配备6GB显存和16GB内存的系统上使用llama.cpp运行Qwen 3.8 flash next模型的体验，通过1位量化实现了6-7个每秒的生成速度，并寻求量化变体的推荐。
榨干64GB内存：Qwen3.5 122B A10B（UD-Q2_K_XL，启用MTP）已完全取代我原本的Qwen3 Next 80B（UD-Q4_K_XL）
一位用户比较了在64GB内存系统上运行量化版Qwen3 Next 80B和Qwen3.5 122B的情况，指出了本地LLM推理中速度、质量和内存使用之间的权衡。
在4080与64GB DDR5上运行Qwen Flash Q4_K_M，约8tk/s，98304上下文。
作者演示了如何在4080 GPU和64GB DDR5上运行182B的Qwen模型，通过将ngrams转移到SSD，实现了比27B模型更快、更智能的性能，使大型模型推理在消费级硬件上变得可行。