Qwen3.8-Next 流式传输 - M5 Air 上预填充 150 tps，解码 3.6 tps
摘要
一位用户在 Apple M5 Air 上测试了 Qwen3.8-Next 模型，采用 3 位量化，实现了预填充 150 令牌/秒和解码 3.6 令牌/秒，在某些指标上超过了密集 270 亿参数模型。
出于好奇，我想看看能否将几周前的 DSv4 流式处理栈适配以支持 Qwen3.8-Next。它成功了，而且比预期更好——实际上在我的 32GB M5 上运行得比密集 270 亿模型更快（诚然不完全可比，因为我决定使用 MoE 的 3 位版本 Qwen3.8-Flash-Next-MLX-oQ3-MTP，而密集模型是 4 位）。对于 2000 令牌的提示，在我的 M5 上以低功耗模式运行，3.8-Next-3bit 实现预填充 150 tps，解码 3.6 tps。270 亿-4 位模型实现预填充 70 tps，解码 3 tps。
相似文章
Qwen3.8-Flash-Next (125B) 在2021款32GB M1 Max上达到12-15 token/s
MoEspresso 3 是一个推理引擎，在配备32GB RAM的2021款M1 Max上，为Qwen3.8-Flash-Next模型实现了每秒12-15个解码token的速度。它采用Cache-Prior等技术优化性能，并在基准测试中超越了部分托管解决方案。
@no_stp_on_snek：Mac M5 Max 128GB - Qwen 3.8 27B，4k 上下文下 1k prefill、107 decode。非常满意。接下来要确认质量是否达标……
@no_stp_on_snek 分享了在 Mac M5 Max（128GB 内存）上运行 Qwen 3.8 27B 的早期推理测试数据：4k 上下文下，prefill 达到 1k tokens，decode 达到 107 tokens/s；质量验证仍在进行中。
Qwen3.8-Flash-Next 针对 Mac 优化版
本文详细介绍了在 Mac M1 Max 硬件上运行 Qwen3.8-Flash-Next AI 模型的自定义优化，包括 SSD 流、自定义量化和稀疏注意力机制，以提升性能。
Qwen 27B
一位用户报告称，在q6kxl量化与多token预测下，Qwen 27B在4090+3090系统上使用LCPP实现了50-90 token/s的解码速度和1500-2200 token/s的预填充速度，并指出它在各种编码任务中表现稳定、快速且连贯。
使用 Deadcode 的 Radiance 引擎，在 2 张 R9700 + 64GB DDR5 上运行 Q4 量化的 Qwen-3.8 Flash-Next，解码速度为 176 token/秒，预填充速度为 6,450 token/秒
一位用户使用 BetterBench 吞吐量测试工具，在配备 2 块 R9700 GPU 和 64GB DDR5 内存的定制 PC 上，对运行于 Deadcode 的 Radiance 推理引擎上的 Q4 量化版 Qwen-3.8 Flash-Next 进行基准测试，实现了 176 token/秒的解码速度和 6,450 token/秒的预填充速度。