@zcbenz:MLX 在 macOS 上通过 Thunderbolt 实现的 RDMA(远程直接内存访问)现已作为独立库发布……
摘要
MLX 面向 macOS 的 RDMA-over-Thunderbolt 实现已独立成库,任何人都能用它组建高速 Mac 集群,在本地跑 AI 负载。
MLX 在 macOS 上通过 Thunderbolt 实现的 RDMA(远程直接内存访问)现已作为独立库开放使用:https://github.com/ml-explore/mlx/tree/main/mlx/distributed/jaccl/lib…… 它是驱动本地 AI Mac 集群的“秘密武器”,速度比基于 TCP 的协议快一个数量级。
相似文章
New MLX LM Server From Apple
Apple MLX 团队推出 MLX LM Server,一个在 Mac 上完全本地运行 AI 智能体工作流的工具,支持连续批处理、分布式推理和 M5 神经加速,无需云端或 API 密钥。
@jundotkim: oMLX 0.3.9rc1 发布。亮点:- 低内存Mac保持稳定,不再被系统杀死 - DFlash 升级至…
oMLX 0.3.9rc1,一个为Apple Silicon Mac优化的LLM推理服务器,增加了低内存稳定性、分块预填充、多任务管理聊天等功能。
我在Apple Silicon上使用MLX和OpenClaw集成了新的δ-mem研究!我的发现
作者使用MLX和OpenClaw在Apple Silicon上实现了δ-mem研究论文,展示了在本地AI代理测试中的内存和注意力改进,尽管与CUDA基准相比结果好坏参半。
@awnihannun: Three MLX videos dropped at WWDC: Running agents locally by @angeloskath https://youtube.com/watch?v=wykPErJ8M-8… Distr…
Three MLX videos from WWDC demonstrate running AI agents entirely locally on Apple Silicon using the MLX stack, including local inference, tool calling, and distributed inference across Macs, enabling no-cloud, offline AI workflows.
@PyTorch:ExecuTorch 现有一个 MLX 委托,可在 Apple Silicon GPU 上运行 PyTorch 模型。它支持大语言模型、语音转文字、以及……
ExecuTorch 现有一个 MLX 委托,可在 Apple Silicon Mac 上为 PyTorch 模型提供 GPU 加速推理,支持大语言模型、语音转文字以及通过 TorchAO 进行量化的 MoE 模型。