@jun_song: 最佳中端本地LLM硬件:DGX Spark 对比 Mac Studio M5 Max 128GB(即将推出)价格:4700美元(二手或OEM更便宜)…
摘要
DGX Spark与Mac Studio M5 Max在本地运行LLM的对比,重点比较了解码速度、预填充性能、内存、功耗和成本。Mac在解码带宽上胜出,但DGX在预填充方面更快并支持批处理。
查看缓存全文
缓存时间: 2026/05/16 19:23
最佳中端本地大模型硬件:
DGX Spark vs Mac Studio M5 Max 128GB(即将发布)
价格:4.7k(二手或OEM更便宜) vs ~5k(预估) 解码:273 GB/s vs 614 GB/s(Mac 胜出 2.2 倍) 预填充:DGX 约快 2 倍,且支持批处理 内存:两者均为 128GB 统一内存 功耗:240W vs 200W(极其高效) 散热:两者都很安静,但 DGX 运行温度较高 优势:CUDA 与 MLX 优化让你可以在桌面上运行 Deepseek V4 Flash。
相似文章
@Michaelzsguo: 两天前,我询问是否应该购买 Mac Studio 用于本地运行 LLM。我由衷地感叹收到的反馈如此优质且丰…
作者分享了一份针对本地运行大语言模型(LLM)的硬件购买指南,综合了社区反馈,对比了 Mac Studio、NVIDIA 和 AMD 的选项。
@songjunkr:分享我的个人本地LLM配置:设备:MacStudio M2 Ultra 64GB,加载模型:SuperQwen3.6 35b mlx 4bit…
一位用户展示了在MacStudio M2 Ultra 64GB上运行的个人本地LLM栈,组合了SuperQwen3.6-35b-mlx-4bit、Ernie Image Turbo及多款辅助模型,用于编程与聊天。
2台配备 512GB 内存的 M3 Ultra Mac Studio
硬件投入约 2.5 万美元。告诉我你们希望我在这两台设备上部署什么模型,我会协助测试。目前我已通过 Exo 后端跑通了 DeepSeek v3.2 Q8 版本;当前每台设备均在运行 GLM 5.1 Q4(正在排查为何 Exo 无法加载 Q8 版本)。静候社区完成 Kimi 2.6 针对 MLX/mmap 的优化适配。
我在 MacBook Air M5 上对 21 款本地大模型进行了代码质量与速度的性能评测
一位开发者在 MacBook Air M5 上使用 HumanEval+ 对 21 款本地大模型进行了基准测试,发现 Qwen 3.6 35B-A3B (MoE) 以 89.6% 的得分和 16.9 tok/s 的速度位居榜首,而 Qwen 2.5 Coder 7B 仅需 4.5 GB 内存即可达到 84.2% 的性能,拥有最佳的内存性价比。值得注意的是,Gemma 4 系列的表现远低于预期(31B 版本仅得 31.1%),这可能是受 Q4_K_M 量化策略的影响。
为本地运行大语言模型挑选 Mac Mini——你实际会买哪款?
一篇社区讨论帖,征求关于购买哪种 Mac Mini 配置(M4、M2 Pro 或 M1 Max)以配合 Ollama 和编程助手运行本地大语言模型的建议;由于传闻 M5 即将发布且当前存在供应短缺,使得选购决策变得复杂。