@jun_song: 最佳中端本地LLM硬件:DGX Spark 对比 Mac Studio M5 Max 128GB(即将推出)价格:4700美元(二手或OEM更便宜)…

X AI KOLs Following 产品

摘要

DGX Spark与Mac Studio M5 Max在本地运行LLM的对比,重点比较了解码速度、预填充性能、内存、功耗和成本。Mac在解码带宽上胜出,但DGX在预填充方面更快并支持批处理。

最佳中端本地LLM硬件: DGX Spark vs Mac Studio M5 Max 128GB(即将推出) 价格:4700美元(二手或OEM更便宜)对比约5000美元(估计) 解码:273 GB/s 对比 614 GB/s(Mac胜出,2.2倍) 预填充:DGX快约2倍,并支持批处理 内存:两者均为128GB统一内存 功耗:240W对比200W(能效极高) 散热:两者都很安静,但DGX温度较高 优势:CUDA与MLX优化使得Deepseek V4 Flash可在桌面运行。
查看原文
查看缓存全文

缓存时间: 2026/05/16 19:23

最佳中端本地大模型硬件:

DGX Spark vs Mac Studio M5 Max 128GB(即将发布)

价格:4.7k(二手或OEM更便宜) vs ~5k(预估) 解码:273 GB/s vs 614 GB/s(Mac 胜出 2.2 倍) 预填充:DGX 约快 2 倍,且支持批处理 内存:两者均为 128GB 统一内存 功耗:240W vs 200W(极其高效) 散热:两者都很安静,但 DGX 运行温度较高 优势:CUDA 与 MLX 优化让你可以在桌面上运行 Deepseek V4 Flash。

相似文章

2台配备 512GB 内存的 M3 Ultra Mac Studio

Reddit r/LocalLLaMA

硬件投入约 2.5 万美元。告诉我你们希望我在这两台设备上部署什么模型,我会协助测试。目前我已通过 Exo 后端跑通了 DeepSeek v3.2 Q8 版本;当前每台设备均在运行 GLM 5.1 Q4(正在排查为何 Exo 无法加载 Q8 版本)。静候社区完成 Kimi 2.6 针对 MLX/mmap 的优化适配。

我在 MacBook Air M5 上对 21 款本地大模型进行了代码质量与速度的性能评测

Reddit r/LocalLLaMA

一位开发者在 MacBook Air M5 上使用 HumanEval+ 对 21 款本地大模型进行了基准测试,发现 Qwen 3.6 35B-A3B (MoE) 以 89.6% 的得分和 16.9 tok/s 的速度位居榜首,而 Qwen 2.5 Coder 7B 仅需 4.5 GB 内存即可达到 84.2% 的性能,拥有最佳的内存性价比。值得注意的是,Gemma 4 系列的表现远低于预期(31B 版本仅得 31.1%),这可能是受 Q4_K_M 量化策略的影响。