标签
一项实测对比，测试了四款本地 LLM 推理引擎（oMLX 0.7.0、Rapid-MLX 0.15.5、Splash 1.2.1、MTPLX 2.12.2）在 36 GB M3 Max MacBook Pro 上的表现，结果显示 Rapid-MLX 在 Qwen3.6-35B-A3B 上最快（约 110 tok/s），而 Splash 在稠密模型 Qwen3.8-27B 上最快（通过投机解码达到约 31.7 tok/s）。
介绍如何在配备 96GB 内存的 Mac M3 Max 上，使用 Antirez 的 ds4 引擎和 SSD 流式传输运行 DeepSeek 4 flash，实现约每秒 12 token 的推理速度。