rdma

一份使用自定义 Docker/Podman 工具箱，借助 ROCm/RCCL RDMA 支持，将两个 AMD Strix Halo 节点集群化，以在 256GB 统一内存上通过张量并行启用 vLLM 的搭建指南。

通过 Thunderbolt 和 Strix Halo 演示了基于 USB4 的 RDMA 实验性实现，可能实现与任何 USB4 主机的高速数据传输。

DualPath是一种通过引入双路径KV-cache加载机制来打破智能体LLM推理中存储带宽瓶颈的系统，离线吞吐量提升可达1.87倍，在线吞吐量提升可达1.96倍。

作者深入探讨了如何使用RDMA和io_uring饱和NIC与磁盘带宽的技术细节，着重说明了一个AI代理如何以有缺陷的解释实现了优化，随后详细介绍了实际的调试过程。

一位用户提议使用Blackwell GPU和通过RDMA连接的高内存服务器构建异构AI集群，并寻求在Tinygrad驱动程序开发方面的合作。

NVIDIA Spectrum-X以太网架构搭配多路径可靠连接（MRC）为千亿级AI网络设立新标准，提升大规模AI训练的吞吐量、负载均衡和弹性，OpenAI、微软和甲骨文已率先应用。

MLX 面向 macOS 的 RDMA-over-Thunderbolt 实现已独立成库，任何人都能用它组建高速 Mac 集群，在本地跑 AI 负载。

在两台 M5 Max MacBook Pro 上通过 Thunderbolt 5 RDMA 运行 Qwen3.6 35B（视觉版）。模型能描述图片并正确识别 Apple Park，但把 John Ternus 错认成 Jeff Williams。借助前缀缓存，响应几乎瞬间完成。