既然 Qwen 这么强了,是不是该入手 128 GB 的 M5 Max?
摘要
用户考虑升级到 128 GB M5 Max,以便本地运行性能逼近 Opus 4.5 的改进版 Qwen 27B 模型。
我一直在犹豫要不要换掉手里的 M1 Pro 32 GB,但看到 Qwen 进步神速,是不是该开始折腾本地大模型了?之前试用的体验远不及 Opus,可现在 27 B 模型已经接近 4.5 版 Opus(???),听起来太香了!
相似文章
M5 Ultra 96GB 对比 M5 Max 128GB — 双倍带宽是否值得牺牲32GB RAM,何况Qwen3.8-Flash-Next明天即将发布?
本文对比了Mac Studio M5 Ultra和M5 Max配置在运行AI模型时的取舍,聚焦于带宽、RAM与即将推出的Qwen3.8-Flash-Next模型之间的权衡,并探讨性能与量化问题。
榨干64GB内存:Qwen3.5 122B A10B(UD-Q2_K_XL,启用MTP)已完全取代我原本的Qwen3 Next 80B(UD-Q4_K_XL)
一位用户比较了在64GB内存系统上运行量化版Qwen3 Next 80B和Qwen3.5 122B的情况,指出了本地LLM推理中速度、质量和内存使用之间的权衡。
OMG!如果你有 64GB 内存的 Mac,试试 oMLX 上运行 Qwen3.8-Flash-Next-oQ4e-mtp!
用户惊叹于在 M3 Max 64GB Mac 上通过 oMLX 成功运行 Qwen3.8-Flash-Next-oQ4e-mtp 这个约 100GB 的模型,58GB 分配给 GPU,并支持最高 130k 上下文窗口,展示了本地大模型推理性能的显著提升。
@no_stp_on_snek:Mac M5 Max 128GB - Qwen 3.8 27B,4k 上下文下 1k prefill、107 decode。非常满意。接下来要确认质量是否达标……
@no_stp_on_snek 分享了在 Mac M5 Max(128GB 内存)上运行 Qwen 3.8 27B 的早期推理测试数据:4k 上下文下,prefill 达到 1k tokens,decode 达到 107 tokens/s;质量验证仍在进行中。
QWEN3.6-27B-MLX-8bit (29.5GIG) 非常出色
一位用户分享了他们切换到 QWEN3.6-27B-MLX-8bit 模型用于本地AI任务的经验,发现它在 Mac Studio 上节省了大量内存,同时表现与更大模型相当,提高了工作流程的稳定性。