Swift 1.5 Qwen3.8 Flash Next - 专为 96GB M5 Ultra Mac Studio 打造

Reddit r/LocalLLaMA 模型
mlx quantization mac-studio apple-silicon local-llm qwen inference

摘要

UkisAI 的 Swift 1.5（基于 Qwen 3.8 Flash Next）的社区 MLX 量化版本，4.7bpw，专为搭载 M5 Ultra 的 96GB Mac Studio 调优，预填充/解码速度表现出色，与 BF16 模型的 top-1 一致率达到 91%。

https://huggingface.co/Dankpaws/Swift1.5-Qwen3.8-Flash-Next-MLX-4.7bpw 我拥有这台 96GB M5 Ultra Mac Studio 大约一周了，但对目前能用到的那几款模型的效果并不满意，问题出在速度、显存余量和/或输出质量上。这是我针对 UkisAI 的 Swift 1.5 所做的最佳校准 MLX 量化尝试，希望拥有同款硬件的朋友们会喜欢！ ## 性能测试 | 指标 | 本量化包 | Swift llama.cpp IQ3_XXS | | --- | --- | --- | | 预填充 · 25k 提示词 | 3,191 tok/s | 1,427 tok/s | | 预填充 · 95k 提示词 | 2,928 tok/s | 1,307 tok/s | | 解码 · 4k 提示词之后 | 113.7 tok/s | 62.7 tok/s | | 解码 · 95k 提示词之后 | 81.1 tok/s | 44.7 tok/s | | 与 Swift BF16 的 top-1 一致率 | 91.0% | 84.1% | 91% 指的是在 680 个常见保留位置上与 BF16 的下一个 token 一致率，并非任务准确率。以上结果仅来自我自己的机器。使用 mlx-serve 26.10.1，纯文本版本，下载体积约 107GB，已测试上下文长度为 179,200 token。
查看原文

相似文章

M5 Ultra 实测：Qwen3.8 Flash Next 对决 Laguna S 2.1

Reddit r/LocalLLaMA

在同一台 Mac Studio M5 Ultra 256GB 上，使用相同框架对比了 Qwen3.8-Flash-Next（182GB oQ8e）与 Laguna-S-2.1 GGUF 在最高 262K 上下文下的表现。Qwen 在预填充阶段保持约 4,200 tok/s 的线性速度，解码稳定；而 Laguna 则呈超线性退化；质量方面双方 4/4 打平，但答题风格迥异。

Qwen3.8-Flash-Next 针对 Mac 优化版

Reddit r/LocalLLaMA

本文详细介绍了在 Mac M1 Max 硬件上运行 Qwen3.8-Flash-Next AI 模型的自定义优化，包括 SSD 流、自定义量化和稀疏注意力机制，以提升性能。