Speedy 在 qwen3.8 FN 上的表现令人震惊

Reddit r/LocalLLaMA 工具
inference llm benchmarking open-source performance gpu

摘要

作者将 Speedy 与 Avalon 和 Strata 进行了本地运行 Qwen3.8 模型的基准测试，发现 Speedy 速度大幅提升：读取速度快 4 倍，生成速度约为 105-110 tok/s，总墙钟时间比 Avalon 短 26-31%。

我刚配置好 Avalon，然后就发现了 Speedy，它把 Avalon 完全碾压了。 https://github.com/freriadoc/Avalon https://github.com/DevDock-AI/Speedy 硬件：4090，128GB DDR5 3600，Ryzen 9 7950X ISTA IQ3_S 量化： - 上下文读取：冷预填充耗时（秒） - 读取速度：报告的 tok/s - 写入速度：生成 tok/s - 整轮对话：墙钟时间（秒） **60K** - Strata 54.7 / Avalon 22.4 / Speedy 13.7 - Strata — / Avalon 2678 / Speedy 4389 - Strata 75.0 / Avalon 102.5 / Speedy 110.0 - Strata 66.6 / Avalon 32.1 / Speedy 23.9 **120K** - Strata 110.7 / Avalon 42.1 / Speedy 26.0 - Strata — / Avalon 2849 / Speedy 4622 - Strata 71.8 / Avalon 101.6 / Speedy 105.8 - Strata 123.2 / Avalon 52.0 / Speedy 37.0 **198K** - Strata 187.2 / Avalon 71.2 / Speedy 44.1 - Strata — / Avalon 2779 / Speedy 4494 - Strata 71.9 / Avalon 103.0 / Speedy 104.3 - Strata 199.8 / Avalon 81.5 / Speedy 56.1 **提升对比** | | 写入 Strata→Speedy | 写入 Avalon→Speedy | 读取 Strata→Speedy | 读取 Avalon→Speedy | 墙钟 Strata→Speedy | 墙钟 Avalon→Speedy | |---|---|---|---|---|---|---| | 60K | +47% | +7% | 4.0x | 1.6x | 缩短 64% | 缩短 26% | | 120K | +47% | +4% | 4.3x | 1.6x | 缩短 70% | 缩短 29% | | 198K | +45% | +1% | 4.2x | 1.6x | 缩短 72% | 缩短 31% |
查看原文

相似文章

Qwen 3.8 27B 比预期更快

Reddit r/LocalLLaMA

一位用户报告称，Qwen 3.8 27B 模型在双 5060 TI 显卡上达到了 50-60 个令牌每秒的速度，显示出比之前版本（如 Qwen 3.6）更令人意外的速度提升。

搭配 Qwen3.8 Flash Next UD-Q4_K_XL 的 Strata

Reddit r/LocalLLaMA

一位用户报告称，在配备 RTX PRO 6000 的 Strata 上运行采用 Unsloth UD-Q4_K_XL 量化的 Qwen3.8-Flash-Next 时，单请求解码速度表现出色；在文本写作、计数、编程和推理任务中，其吞吐量约为同一 GPU 上 vLLM 的 2 倍。

在 2 张 RTX 5090 上运行 Qwen3.8-Flash-Next，解码速度达 504 tok/s：QEngine 1.3.1 的解码速度约为我试过的第二快引擎的 1.5–1.9 倍（数据、注意事项，以及仍然棘手的问题）

Reddit r/LocalLLaMA

一项详细的基准测试表明，QEngine 1.3.1（针对 RTX 5090 编译）是单流解码速度最快的 Qwen3.8-Flash-Next 引擎，速度约为 Strata 的 1.4–1.9 倍、调优后的 vLLM 的 3 倍，其 KV-in-RAM 模式可显著提升重新访问空闲会话时的热启动性能。

Qwen 3.6 35B A3B 的热度绝非虚名！

Reddit r/LocalLLaMA

作者对小型本地 LLM 进行了基准测试，重点突出了 Qwen 3.6 35B A3B，其将学术代码与研究论文进行映射的能力优于 Gemma 4 和 Nemotron 3 Nano 等模型。