MLX引擎对比…oMLX是最佳选择。
摘要
一篇博客文章，对比了MLX推理引擎，结论是oMLX是最佳选择，评测在M5 Max 64GB上使用Qwen3.6-35B-A3B-4bit。
刚刚发现这篇博客。如果你正在挑选推理引擎，这是一篇非常有趣的读物。使用M5 Max 64GB，模型为mlx-community/Qwen3.6-35B-A3B-4bit。文章中的MTPLX使用的是3.6 27B，所以并非直接对比。
https://preview.redd.it/huxhasc4gx1h1.png?width=990&format=png&auto=webp&s=88cf7828b18eb8dea7a4c92c041f2b5c795f1824
https://preview.redd.it/fhevre6agx1h1.png?width=990&format=png&auto=webp&s=7bbc9aecbb5684aeeedf712e5a1017d0aab68fa7
[https://www.largitdata.com/blog_detail/20260511](https://www.largitdata.com/blog_detail/20260511)
相似文章
@AlexJonesax：在M5Max上启用MTP和oMLX推理，Qwen3.6-27b飞速运行
社区报告称，通过oMLX优化，Qwen3.6-27b模型在M5Max硬件上实现了极高的推理性能。
@AlexJonesax: 如果你在 Mac 上运行 LLM，值得了解的两个开源 MLX 推理服务器：MTPLX (@youssofal) 利用模型自身的…
本文介绍了两个适用于 Mac 的开源 MLX 推理服务器：MTPLX 通过投机解码（无需草稿模型）优化 token 生成速度，而 oMLX 则通过持久化的 KV 缓存提升代码智能体的工作流效率。
@jun_song: MLX 的新引擎正处于开发的最后阶段。刚刚在一台 MacBook（116GB）上运行 GLM-5.2，达到 41.8…
Jun Song 宣布 MLX 新引擎进入最终开发阶段，在 MacBook 上以 256k 上下文窗口达到 41.8 tok/s，仅有约 4% 质量损失，代表着显著的性能提升。
jundot/omlx
oMLX 是一个用于在 Apple Silicon Mac 上进行优化 LLM 推理的新开源工具，具备持续批处理和分层 KV 缓存功能，并通过菜单栏应用进行管理。
大语言模型与本地AI硬件的推理引擎（2026版）
本文提供了一份全面的指南，针对2026年本地AI硬件上的大语言模型推理引擎，解释了如何根据硬件策略、工作负载和服务模型进行选择，并涵盖了诸如llama.cpp、MLX、ExLlamaV2/3、vLLM、SGLang、TensorRT-LLM和NVIDIA Dynamo等引擎。