M5 vs DGX Spark vs Strix Halo vs RTX 6000

Reddit r/LocalLLaMA 新闻
benchmark ai-hardware mac-m5 dgx-spark strix-halo rtx6000 comparison

摘要

一位用户在过去3天内对M5 Mac、DGX Spark、Strix Halo和RTX 6000进行了AI工作负载的基准测试，并将结果发布到GitHub。M5在内存带宽和令牌生成方面优于DGX Spark，而MacBook的散热表现出奇地好，但噪音较大。

嘿，各位，简单说说。网上关于新款M5 Mac、DGX Spark、Strix Halo以及独立GPU等有很多争论。所以我把它们都放在一个电源和散热良好的环境中，在过去3天里并行运行标准测试，并将所有结果发布到一个仓库中。很多结果并不出人意料，只要想想核心数据和基本原理就知道了。RTX6000的内存带宽约为1,800 GB/s，而M5约为600 GB/s，Spark和Strix约为256 GB/s。每个硬件的每秒令牌生成数也很好地遵循了这种数学关系和曲线。从价格来看，假设你对生态系统没有偏好，顶配M5确实很靠谱，且明显优于DGX Spark。同样，这也不意外，看看内存带宽速度就知道了（M5在统一内存总量相同的情况下速度是2倍以上）。第二点值得注意的也不出人意料，但EVO X2在长时间运行时的散热存在问题。MacBook的散热表现反而最让我惊讶，它坚持了几天，温度稳定在80°C左右。不过我得说，当它满载时听起来就像一台普通游戏本。有人说它们‘安静’，这其实有点宣传成分。当你让M5 MacBook Pro全力运行本地AI时，它就像其他所有试图跑本地AI的笔记本一样，变成了吹风机。它做工扎实如航母，就本身定位而言性能很棒，但运行时你绝对知道它在工作，哈哈。我现在正在切换后端，并为Mac上的MLX、Strix Halo上的不同托管后端等添加数据，以了解它们对性能和输出的影响。RTX6000和RTX5090不是同一款卡，免得纠错党找我麻烦，但两者之间有很多相似之处，这些数据或许对纠结于5090 PC和其他机器的用户有用。无论如何，仓库附上，希望这些原始数据和数字能对未来的讨论和争论有所帮助：https://github.com/Light-Heart-Labs/MMBT-Messy-Model-Bench-Tests/tree/main/hardware-tests
查看原文

相似文章

Strix Halo桌面试图与DGX Spark竞争

Reddit r/LocalLLaMA

AMD推出Ryzen AI Halo开发者平台，这是一款售价3999美元的迷你PC，配备128GB统一内存并支持Windows 11，与Nvidia的DGX Spark在本地AI工作负载领域竞争。