标签
一位开发者在 Mac Mini M5 上为 SSD 流式传输 Qwen Flash Next 实现了 n+2 前瞻专家预测优化，在聊天场景下实现了 +8% 的 token 吞吐量提升，代码场景下提升了 +4.2%，相关代码已在 GitHub 上开源。
一位开发者分享了在 64 GB Mac mini M5 上从 SSD 流式加载 Qwen Flash Next Q4 MoE 专家层的性能数据与优化方案，解码速度达到 17.5 tok/s，而 GPU 有 27% 的时间处于等待专家层从 SSD 加载的状态，并寻求提升专家预取准确率和命中率的思路。
Qwen3.8 Flash-Next的一个新检查点能将n-gram查找表卸载至SSD，在保持SGLang推理速度的同时，减少48 GB的内存使用。
一位开发者展示了 Mference，这是一个新的推理引擎，通过从 SSD 流式加载专家，仅用约 5.3GB 内存即可运行 MoE 模型（如 DeepSeek-V4-Flash），并配有原生 Mac 应用和兼容 OpenAI 的服务器。
Slipstream 通过从SSD而非RAM流式传输MoE专家权重，使得在36 GB MacBook上运行大型编码模型（35B–480B）成为可能。基准测试显示，35B模型约13–19 tok/s，118B模型约2.8 tok/s，并诚实报告了失败的方法。
GLM 5.2模型使用Q2_K量化路由专家（有效2.6位）在M5 Max 128GB计算机上通过SSD流式运行。
介绍如何在配备 96GB 内存的 Mac M3 Max 上，使用 Antirez 的 ds4 引擎和 SSD 流式传输运行 DeepSeek 4 flash，实现约每秒 12 token 的推理速度。
DeepSeek v4 PRO，一个拥有1.6万亿参数的模型，通过SSD流式传输在128GB MacBook m5 max上运行，展示了本地运行大规模模型的能力。