根据 LocalLLama 的建议，为 SSD 流式传输 Qwen Flash Next 实现了 n+2 前瞻预测——而且成功了！

Reddit r/LocalLLaMA 工具
ssd-streaming mixture-of-experts llm-optimization qwen mac-mini open-source local-llm

摘要

一位开发者在 Mac Mini M5 上为 SSD 流式传输 Qwen Flash Next 实现了 n+2 前瞻专家预测优化，在聊天场景下实现了 +8% 的 token 吞吐量提升，代码场景下提升了 +4.2%，相关代码已在 GitHub 上开源。

我的项目是在 Mac Mini M5 64GB 上通过 SSD 流式传输来优化 Qwen Flash Next。我最近向 LocalLLama 请教了如何优化 token 输出速度。目前一种流行的方法是使用前瞻猜测器（lookahead guesser），提前一层预取专家（expert）。其中一个很受欢迎的建议是构建一个预测模型，提前两层开始加载专家。这让我在聊天场景下获得了 +8% 的提升，在代码场景下获得了 +4.2% 的提升。考虑到各种优化叠加在一起的效果，在基础的原生配置下，实际收益可能会大得多。https://github.com/skeggsguy/Flash-next-ssd 非常酷！感谢 Reddit LocalLLama！我现在去找到原帖来链接。编辑：向 sdroege_ 致敬，感谢最初提出这个建议！
查看原文

相似文章

Qwen3.8-Flash-Next 针对 Mac 优化版

Reddit r/LocalLLaMA

本文详细介绍了在 Mac M1 Max 硬件上运行 Qwen3.8-Flash-Next AI 模型的自定义优化，包括 SSD 流、自定义量化和稀疏注意力机制，以提升性能。