ssd-streaming

介绍如何在配备 96GB 内存的 Mac M3 Max 上，使用 Antirez 的 ds4 引擎和 SSD 流式传输运行 DeepSeek 4 flash，实现约每秒 12 token 的推理速度。

DeepSeek v4 PRO，一个拥有1.6万亿参数的模型，通过SSD流式传输在128GB MacBook m5 max上运行，展示了本地运行大规模模型的能力。