M5 Ultra 实测:Qwen3.8 Flash Next 对决 Laguna S 2.1

Reddit r/LocalLLaMA 新闻

摘要

在同一台 Mac Studio M5 Ultra 256GB 上,使用相同框架对比了 Qwen3.8-Flash-Next(182GB oQ8e)与 Laguna-S-2.1 GGUF 在最高 262K 上下文下的表现。Qwen 在预填充阶段保持约 4,200 tok/s 的线性速度,解码稳定;而 Laguna 则呈超线性退化;质量方面双方 4/4 打平,但答题风格迥异。

今天我在一台 Mac Studio M5 Ultra 256GB 上进行了一场同日、同框架的对比测试:Qwen3.8-Flash-Next(oMLX、182GB oQ8e、MTP)对决 Laguna-S-2.1 GGUF(LM Studio、128GB、8bit)。两者上下文上限均为 262K,开启思考模式,每次运行都使用不重复的内容并验证缓存令牌为零。最后这一点很关键,因为我第一次运行的结果是错的哈哈……不同尺寸的测试共享了前缀,导致 KV 缓存被复用,结果 200K 的"预填充"只用了 21 秒。 | Prompt | Qwen | Laguna | | --- | --- | --- | | 8K | 2.0s | 10.3s | | 32K | 7.4s | 30.4s | | 64K | 14.7s | 70.8s | | 131K | 30.1s | 217.2s | | 200K | 47.1s | 455.4s | Qwen 稳定保持约 4,200 tok/s 的线性预填充速度,非常惊人。Laguna 呈超线性退化(二次注意力机制干的就是二次注意力的事)。在 200K 时,两者的预填充都占总耗时的 94%。 解码速度(tok/s):Qwen 在各尺寸下为 59-74(根据服务器日志,MTP 接受率在 70-76%,约为 2 倍加速);Laguna 则随着上下文增长从 68 降至 34。Laguna 没有开投机解码,因为在这块硬件上的早期测试中,它的 DFlash 路径已经输给了普通解码。我认为如果 Laguna 能把 DFlash 调通或者支持 MTP,这场对比可能会是另一个结果。 质量方面双方打平,在四道题目上各得 4/4,答案经脚本验证(Muse 负责出题:精确 9 位数字的组合数学、含 12 个隐藏测试的区间代码、全新的骑士与无赖逻辑题、asyncio 排序陷阱)。但答题风格截然相反:Laguna 在 5-10 秒内给出几百 token 的简洁回答,Qwen 则会详尽推敲(有一题耗时 119 秒、11K token)。两者都恰好出现过一次耗尽全部 8K 预算进行隐藏推理但零输出的情况,随后在 16K 重试时成功输出。 欢迎提出关于测试方法的问题。完整报告含图表及测试环境示意图:https://echalupa.com/blog/qwen-flash-next-vs-laguna-200k
查看原文

相似文章

搭配 Qwen3.8 Flash Next UD-Q4_K_XL 的 Strata

Reddit r/LocalLLaMA

一位用户报告称,在配备 RTX PRO 6000 的 Strata 上运行采用 Unsloth UD-Q4_K_XL 量化的 Qwen3.8-Flash-Next 时,单请求解码速度表现出色;在文本写作、计数、编程和推理任务中,其吞吐量约为同一 GPU 上 vLLM 的 2 倍。

Qwen 3.8 Flash Next、DeepSeek V4 与时间的权衡

Reddit r/LocalLLaMA

一位使用 128GB Mac Studio M1 Ultra 的用户对比了本地运行 Qwen 3.8 Flash Next 和 DeepSeek V4 的体验,指出 Flash Next 基准测试分数更高,但完成每个任务所需的时间却长得多,并质疑质量与速度之间的实际权衡是否值得。

我花了 3 周在新的低延迟 SGLang/vLLM 配方上测试本地 Qwen3.8:DFlash2 快 2.8 倍。构建:RadixArk + Inferact 27B NVFP4、27B BF16、orcarouter 27B Uncensored、Flash-Next NVFP4

Reddit r/LocalLLaMA

作者在单张 RTX PRO 6000 上对三款 Qwen3.8 27B 检查点进行 10 项统一测试,Flash-Next 赢下多数任务,而 DFlash2 投机解码将 27B 的推理速度从 75 提升到 210 tok/s(2.8 倍),并对比了 SGLang 与 vLLM 在不同量化导出下的性能差异。