M5 Ultra 实测:Qwen3.8 Flash Next 对决 Laguna S 2.1
摘要
在同一台 Mac Studio M5 Ultra 256GB 上,使用相同框架对比了 Qwen3.8-Flash-Next(182GB oQ8e)与 Laguna-S-2.1 GGUF 在最高 262K 上下文下的表现。Qwen 在预填充阶段保持约 4,200 tok/s 的线性速度,解码稳定;而 Laguna 则呈超线性退化;质量方面双方 4/4 打平,但答题风格迥异。
相似文章
Swift 1.5 Qwen3.8 Flash Next - 专为 96GB M5 Ultra Mac Studio 打造
UkisAI 的 Swift 1.5(基于 Qwen 3.8 Flash Next)的社区 MLX 量化版本,4.7bpw,专为搭载 M5 Ultra 的 96GB Mac Studio 调优,预填充/解码速度表现出色,与 BF16 模型的 top-1 一致率达到 91%。
搭配 Qwen3.8 Flash Next UD-Q4_K_XL 的 Strata
一位用户报告称,在配备 RTX PRO 6000 的 Strata 上运行采用 Unsloth UD-Q4_K_XL 量化的 Qwen3.8-Flash-Next 时,单请求解码速度表现出色;在文本写作、计数、编程和推理任务中,其吞吐量约为同一 GPU 上 vLLM 的 2 倍。
在128 GB M5 Max上运行Qwen3.8-Flash-Next(79 GB,2-bit)以350K上下文持续3.5小时——速度与上下文深度权衡,100轮对话,一张图表
本文报告了在MacBook Pro M5 Max上运行Qwen3.8-Flash-Next模型的情况,对100轮对话中速度与上下文深度进行基准测试,并深入分析性能及长上下文下角色混淆等问题。
Qwen 3.8 Flash Next、DeepSeek V4 与时间的权衡
一位使用 128GB Mac Studio M1 Ultra 的用户对比了本地运行 Qwen 3.8 Flash Next 和 DeepSeek V4 的体验,指出 Flash Next 基准测试分数更高,但完成每个任务所需的时间却长得多,并质疑质量与速度之间的实际权衡是否值得。
我花了 3 周在新的低延迟 SGLang/vLLM 配方上测试本地 Qwen3.8:DFlash2 快 2.8 倍。构建:RadixArk + Inferact 27B NVFP4、27B BF16、orcarouter 27B Uncensored、Flash-Next NVFP4
作者在单张 RTX PRO 6000 上对三款 Qwen3.8 27B 检查点进行 10 项统一测试,Flash-Next 赢下多数任务,而 DFlash2 投机解码将 27B 的推理速度从 75 提升到 210 tok/s(2.8 倍),并对比了 SGLang 与 vLLM 在不同量化导出下的性能差异。