4 x DGX Sparks 与 AMD Epyc 9xx5 系统对比

我看到很多人购买 DGX Sparks，并将它们组建成集群来运行大型模型。难道不将 $16,000 投资到一个拥有 768GB 甚至 384GB 6000MHz DDR5 内存的 AMD Epyc 服务器上更好吗？比如配备 2x3090s 或 5080s，而不是使用 4 个拥有 512GB 内存的 DGX Sparks？Epyc 的理论带宽约为 576GB/s，DGX Spark 的大约为 273GB/s。快速检查显示，两个系统都大约价值 $16,000。请帮助我理解这个逻辑，除了省电之外，拥有 DGX 集群相比 Epyc 系统有什么好处吗？ 编辑1：拥有 768GB DDR5 6000MHz 内存的 Epyc 系统大约需要 $30,000。 编辑2：要匹配 Epyc 的 768GB，我们需要 6 个 DGX Sparks，按当前涨价后的价格，大约也是 $30,000。 编辑3：DGX Sparks 集群的主要优势是支持 FP4 和 2、4、8、16... 单元的张量并行。因此，DGX 集群比 Epyc 系统更快。