Exo labs 声称通过 m5u Mac Studio 集群实现 4.8 TB/s 内存带宽

Reddit r/LocalLLaMA 新闻
memory-bandwidth clustering mac-studio exo-labs rdma ai-inference hardware

摘要

Exo labs 声称通过使用其 RDMA 解决方案对 Mac Studio 进行集群，实现了 4.8 TB/s 的内存带宽，这可能会显著提升 AI 推理性能。这篇 Reddit 讨论探讨了对考虑 AI 工作负载硬件配置的用户的影响。

Exo labs 做出了一些非常令人兴奋和有趣的声明。主要亮点是他们的解决方案使带宽在 Mac Studio 集群上线性扩展。在 localllm 子版块（https://www.reddit.com/r/LocalLLM/s/qEYLOFaYwc）有一篇帖子，其中一位员工谈到在他们的 RDMA 集群解决方案中，延迟比带宽更重要。我发了一个关于 m5u 96gb x 2 集群与单个 m5u 256gb 的帖子，大多数人建议选择单个 256gb，主要原因是带宽限制超过 TB5。我感觉大多数人（包括我自己）在给出那些建议时并不知道 Exo 的这些声明。值得一提的是，我认为我仍会坚持订购 256gb，但考虑到这个消息，现在值得考虑冒险使用 96gb studio 集群。最终，我还是会坚持 256 gb，因为将来如果我需要，它让我能够通过第二个 256 gb studio 扩展处理能力和内存，而且也许我运气好，两年后能以更低的价格买到一个退租单元，从而降低每单位的总体成本 ;)
查看原文

相似文章

2台配备 512GB 内存的 M3 Ultra Mac Studio

Reddit r/LocalLLaMA

硬件投入约 2.5 万美元。告诉我你们希望我在这两台设备上部署什么模型，我会协助测试。目前我已通过 Exo 后端跑通了 DeepSeek v3.2 Q8 版本；当前每台设备均在运行 GLM 5.1 Q4（正在排查为何 Exo 无法加载 Q8 版本）。静候社区完成 Kimi 2.6 针对 MLX/mmap 的优化适配。

在 Mac Studio 上使用 MLX 和 RDMA 进行本地与分布式大 LLM 推理

Reddit r/LocalLLaMA

苹果发布新版 MLX 框架，展示如何在单台 Mac Studio 上运行 Muse Spark Open（近万亿参数）等前沿模型，并通过 RDMA over Thunderbolt 驱动在多台 Mac 间实现分布式张量/流水线并行推理，在四台 M5 Ultra 集群上达到每秒 36 tokens 以上的解码速度。

本地 AI 硬件内存带宽（2026 年版）

X AI KOLs

本文深入解析内存带宽作为本地 AI 硬件性能的关键指标，对比了 NVIDIA、Apple、AMD、Intel 等厂商在不同性能层级下的当前 GPU 与统一内存系统。