@jun_song: MLX 的新引擎正处于开发的最后阶段。刚刚在一台 MacBook（116GB）上运行 GLM-5.2，达到 41.8…

X AI KOLs Following 工具
mlx engine performance macbook glm context-window

摘要

Jun Song 宣布 MLX 新引擎进入最终开发阶段，在 MacBook 上以 256k 上下文窗口达到 41.8 tok/s，仅有约 4% 质量损失，代表着显著的性能提升。

MLX 的新引擎正处于开发的最后阶段。 刚刚在一台 MacBook（116GB）上运行 GLM-5.2，以 256k 上下文窗口达到 41.8 tok/s。 质量损失仅约 4%，正好位于 3-4bit 质量水平。其背后的技术采用了新引入的分层架构。 刚开始时，我用 Kimi-K2.6（128GB，1024 上下文）只能达到 10 tok/s。现在已完全达到生产级别。 为此埋头苦干了数月。看到它终于即将问世，感觉太棒了。
查看原文
查看缓存全文

缓存时间: 2026/07/09 17:39

MLX 的新引擎已进入最终开发阶段。

刚在单台 MacBook（116GB）上运行了 GLM-5.2，在 256k 上下文窗口下达到了 41.8 tok/s。

质量损失仅约 4%，正好处于 3-4 bit 质量水平。背后的技术采用了新引入的分层架构。

刚开始时，我用 Kimi-K2.6（128GB，1024 上下文）只能跑出 10 tok/s。现在已完全达到生产级水平。

为此埋头苦干了数月。看到它即将发布，感觉真好。

相似文章