Qwen3.8-Flash-Next-GSQ-RCO (IQ3_S)：12GB 显存 + 32GB 内存 + NVMe 实现约 20-30 tok/s 解码与 300-90k tok/s 预填

Reddit r/LocalLLaMA 模型
quantization local-llm inference qwen open-source consumer-hardware

摘要

用户在仅 12GB 显存 + 32GB 内存 + NVMe 的消费级硬件上，通过自定义 Strata 分支运行 IQ3_S 量化版 Qwen3.8-Flash-Next-GSQ-RCO-Abliterated，实现 20-30 tok/s 解码与最高约 90k tok/s 的 131k 上下文预填性能。

我让 Qwen3.8-Flash-Next-GSQ-RCO-Abliterated 以 IQ3_S 量化在仅 12GB 显存 + 32GB 系统内存的条件下跑了起来，解码速度达到 20-30 tok/s（Q2 量化可达 39-45 tok/s），在 131k 上下文下预填速度为 300 到约 9 万 tok/s，使用的是一个自定义的 Strata 分支。这个分支包含大量架构改动，全都非常实验性，随时可能出问题，但性能表现完全弥补了这一点。在某些方面，它给人的感觉就像本地版的 Opus，而算力需求还不到 2k。 https://github.com/bodhi37/Qwen3.8-Flash-12GBRAM-32GBVRAM-SSD-Recipe https://github.com/bodhi37/strata
查看原文

相似文章

使用 Deadcode 的 Radiance 引擎，在 2 张 R9700 + 64GB DDR5 上运行 Q4 量化的 Qwen-3.8 Flash-Next，解码速度为 176 token/秒，预填充速度为 6,450 token/秒

Reddit r/LocalLLaMA

一位用户使用 BetterBench 吞吐量测试工具，在配备 2 块 R9700 GPU 和 64GB DDR5 内存的定制 PC 上，对运行于 Deadcode 的 Radiance 推理引擎上的 Q4 量化版 Qwen-3.8 Flash-Next 进行基准测试，实现了 176 token/秒的解码速度和 6,450 token/秒的预填充速度。

**Qwen 3.8 Flash Next-GSQ-RCO-IQ2_XS：仅凭一张 RTX 3060 12GB + 16GB DDR4 内存即可达到约 21 tok/s（未做 gate pruning，100% 位精确）**

Reddit r/LocalLLaMA

一位开发者展示了一个为 llama.cpp 定制的 `--moe-direct-io` 功能，在仅配备 12GB 显存的 RTX 3060 和 16GB 内存的环境下运行 125B MoE 模型 Qwen3.5-Flash Next（IQ2_XS 量化，68GB），实现了 10–15 倍的加速（20–24 tok/s），且输出结果与官方版本逐位一致（bit-exact）。