Qwen3.8 flash next + ExLlamaV3 + Hermes 真是令人惊叹
摘要
用户分享了他们使用 Qwen3.8 模型配合 ExLlamaV3 在 6x3090 GPU 上的积极体验，达到了每秒 80-120 个令牌，并通过 Matrix 控制 Hermes 代理进行日常使用。
我知道我说的没什么新鲜的，但我最近开始使用 Hermes 代理（我一直想用但没时间）。在 6x3090 上运行 Qwen3.8fn 6bpw exl3（来自 turboderp）给我大约每秒 80-120 个令牌，pp 良好，质量也不错。我假设在较少的 GPU 上使用较低量化也能达到同样效果。这个引擎在 CUDA 上真是太疯狂了！所以现在我每天通过 Matrix 从手机安全地控制 Hermes，并发现其越来越多的潜力，除了委托给编程代理/工具（opencode）。Qwen + Turboderp + Nous -> 爱你们
相似文章
Qwen3.8-Flash-Next 将 4xR9700 变成一个本地AI强机！使用优化的vLLM，单请求120 t/s 生成速度和12k t/s 预填充
文章报道，Qwen3.8-Flash-Next 模型在配置了 4 个 AMD R9700 GPU 的系统上，使用优化的 vLLM 和自定义 Docker 镜像，实现了每秒 120 个 token 的生成速度和每秒 12k 个 token 的预填充速度。
双RTX 3090 + EPYC主机运行qwen3.8-flash-next，速度约38令牌/秒
用户描述了一个硬件配置，包括双RTX 3090显卡和AMD EPYC CPU，用于运行Qwen3-Flash-Next模型（使用llama.cpp），单流推理速度达到38令牌/秒。用户寻求建议，是否应该添加第三块GPU或升级CPU以提高性能，特别是对于运行多个并行代理。
@svpino：在本地电脑上跑 Hermes 微调版 Gemma 4 或 Qwen 3.5，简直是最佳组合，不试真的会后悔……
开发者称，Hermes 微调版 Gemma 4 与 Qwen 3.5 在本地大模型性能上表现最佳，足以媲美付费 BigAI 模型。
在 RTX 3060 + 5060 Ti 上成功运行 Qwen 3.8 27B EXL3
一名用户成功运行了 Qwen 3.8 27B AI 模型在 RTX 3060 和 5060 Ti GPU 的混合设置上，使用 exllamav3 的张量并行技术，在启用 MTP 的情况下达到约每秒 50 个令牌的速度。
**Qwen 3.8 Flash Next-GSQ-RCO-IQ2_XS：仅凭一张 RTX 3060 12GB + 16GB DDR4 内存即可达到约 21 tok/s（未做 gate pruning，100% 位精确）**
一位开发者展示了一个为 llama.cpp 定制的 `--moe-direct-io` 功能，在仅配备 12GB 显存的 RTX 3060 和 16GB 内存的环境下运行 125B MoE 模型 Qwen3.5-Flash Next（IQ2_XS 量化，68GB），实现了 10–15 倍的加速（20–24 tok/s），且输出结果与官方版本逐位一致（bit-exact）。