Nex-N2.5-mini-MLX-4bit 在 Apple M5 Max 上 — 133.6 tok/s — llm-bench.io
摘要
Nex-N2.5-mini-MLX-4bit 模型在 Apple M5 Max 硬件上的基准测试结果,生成速度达到 133.6 tokens/s,研究任务中的质量分数高达 85.80。
查看缓存全文
缓存时间: 2026/09/12 20:47
相似文章
Swift-1.5-Qwen3.8-27b-oQ8e-mtp 在 Apple M5 Max 上 — 34.8 tok/s — llm-bench.io
本文基准测试了 Swift-1.5-Qwen3.8-27b-oQ8e-mtp AI 模型在 Apple M5 Max 上的表现,达到 34.8 令牌每秒,并提供了运行的重现步骤。
基准测试:在 Kapitsa 上使用 KFlash,在 M5 Max 2026 上测试 Qwen 27B、35B、QFN180B;Nemotron Bolt 74B、Flint40B 和 Clover 35B(Q4)[P]
开源 Apple Silicon 推理引擎 Kapitsa 0.2.26 公布了 Qwen、Nemotron、Flint 和 Clover 模型在 M5 Max 上的基准测试结果,展示了其 KFlash 最佳优先树验证技术和 SSD 卸载功能,可在配备 48GB 内存的 MacBook Pro 上以每秒 61 个 token 的速度运行 180B 参数的 MoE 模型。
@volatilemarkts:同一台 Mac,同一模型,同样内容。上周我在 512 GB M3 Ultra 上用 MLX 跑 GLM-5.3-Flash:27 tok/s,首 token 耗时 0.46 秒……
TensorFold 0.6.2 是一款 Apache 2.0 开源 LLM 推理引擎,声称在 Apple Silicon 上的 token 吞吐量超过 MLX 的两倍(M3 Ultra 上为 61 vs 27 tok/s),采用多 token 预测的投机解码技术,支持并发并行请求以及兼容 OpenAI 的 API。
@nicebabycat: https://x.com/nicebabycat/status/2091726637155103126
本文详细测试了Ling-3.0-tiny模型在Apple M5芯片Mac上的本地部署与性能,展示了在无独立显卡时以47 token/s的速度运行7.9B参数模型的可行性。
@ivanfioravanti: Apple M5 Max + MLX = 原始算力!看看我正在玩的“FasterLivePortrait-MLX”演示,我从 MPS 开始,但结果不……
作者演示了在搭载 M5 Max 芯片的设备上,将 LivePortrait 的实现从 MPS 迁移到 Apple 的 MLX 框架后,性能和速度有了显著提升。