@ivanfioravanti: Apple M5 Max + MLX = 原始算力!看看我正在玩的“FasterLivePortrait-MLX”演示,我从 MPS 开始,但结果不……
摘要
作者演示了在搭载 M5 Max 芯片的设备上,将 LivePortrait 的实现从 MPS 迁移到 Apple 的 MLX 框架后,性能和速度有了显著提升。
Apple M5 Max + MLX = 原始算力!看看我正在玩的“FasterLivePortrait-MLX”演示。我最初使用的是 MPS,但效果不佳。于是我决定迁移到 MLX,结果令人惊叹!性能更好,速度更快。顺便说一句,仍有改进空间。我会继续探索这个方向。不要低估你们手中 Apple Silicon 设备的潜力,我打赌很快我们会看到各种优化,让它们能更快地运行任何任务!
相似文章
@awnihannun: 两台 M5 Ultra + MLX 如今能达到的性能水平相当惊人
Awni Hannun 展示了两台 M5 Ultra 配合 MLX 所能达到的性能水平,凸显本地 Apple Silicon 推理能力的显著提升。
@ivanfioravanti: M5 Max 的有趣视频,探讨低、自动和高性能模式对推理的影响。- 未连接外部显示器……
一项性能测试展示了低、自动和高性能模式对 M5 Max MacBook 上大型语言模型(LLM)推理速度的影响,显示出在 Token 生成率和功耗方面存在显著差异。
Nex-N2.5-mini-MLX-4bit 在 Apple M5 Max 上 — 133.6 tok/s — llm-bench.io
Nex-N2.5-mini-MLX-4bit 模型在 Apple M5 Max 硬件上的基准测试结果,生成速度达到 133.6 tokens/s,研究任务中的质量分数高达 85.80。
@jun_song: MLX 的新引擎正处于开发的最后阶段。刚刚在一台 MacBook(116GB)上运行 GLM-5.2,达到 41.8…
Jun Song 宣布 MLX 新引擎进入最终开发阶段,在 MacBook 上以 256k 上下文窗口达到 41.8 tok/s,仅有约 4% 质量损失,代表着显著的性能提升。
Apple M5 尚未充分利用其矩阵乘法核心
Apple M5 芯片支持矩阵乘法中的 INT8 激活,但 MLX 和 Llama.cpp 等推理后端目前仍使用 16 位;自定义 w8a8 内核在 Gemma4 预填充任务上实现了高达 1.4 倍的加速。