标签
Qwen3.8 Flash-Next的一个新检查点能将n-gram查找表卸载至SSD，在保持SGLang推理速度的同时，减少48 GB的内存使用。
一位开发者展示了 Mference，这是一个新的推理引擎，通过从 SSD 流式加载专家，仅用约 5.3GB 内存即可运行 MoE 模型（如 DeepSeek-V4-Flash），并配有原生 Mac 应用和兼容 OpenAI 的服务器。
Slipstream 通过从SSD而非RAM流式传输MoE专家权重，使得在36 GB MacBook上运行大型编码模型（35B–480B）成为可能。基准测试显示，35B模型约13–19 tok/s，118B模型约2.8 tok/s，并诚实报告了失败的方法。
GLM 5.2模型使用Q2_K量化路由专家（有效2.6位）在M5 Max 128GB计算机上通过SSD流式运行。
介绍如何在配备 96GB 内存的 Mac M3 Max 上，使用 Antirez 的 ds4 引擎和 SSD 流式传输运行 DeepSeek 4 flash，实现约每秒 12 token 的推理速度。
DeepSeek v4 PRO，一个拥有1.6万亿参数的模型，通过SSD流式传输在128GB MacBook m5 max上运行，展示了本地运行大规模模型的能力。