标签
PyTorch 基金会项目 Ray 宣布成立面向加速器的 Ray 特别兴趣小组（SIG），汇聚硬件厂商、云服务商和 Ray 社区，围绕厂商中立的路线图展开协作，涵盖硬件感知测试、拓扑感知调度以及 Ray Direct Transport。
CrowdGPT v2.6 推出了重大更新，通过众包方式在普通个人电脑上协作训练 10 亿参数的大语言模型，加入拜占庭交叉验证、加密签名与协作数据集，并在 6 天内新增训练了 45 亿个词元。
HyScale 提出了一种面向长上下文训练的学习型稀疏注意力系统，通过 HyTopK（免分数表的精确 top-k 选择）和选择重放（selection replay）技术，在 1M token 序列上将 GLM-5.1 训练速度提升至 Megatron-LM 的 2.07 倍。
论文提出一种对抗鲁棒的广义编码计算（GCC）扩展框架，通过平滑正则化限制恶意worker输出的影响，并给出随对抗worker比例衰减的非渐近误差界，适用于分布式系统中的近似编码计算。
在 PyTorchCon 2026 上，Ion Stoica 回顾了 Ray 从强化学习演变为现代 AI 工作负载背后分布式计算层的历程，重点介绍了针对 TPU Pod 和 Blackwell GPU 的拓扑感知调度、NIXL GPU 传输、TorchFT 集成，以及未来用 Rust 重写核心组件并深化 Kubernetes 集成的计划。
苹果发布新版 MLX 框架，展示如何在单台 Mac Studio 上运行 Muse Spark Open（近万亿参数）等前沿模型，并通过 RDMA over Thunderbolt 驱动在多台 Mac 间实现分布式张量/流水线并行推理，在四台 M5 Ultra 集群上达到每秒 36 tokens 以上的解码速度。
苹果研究人员推出了 Minions，这一系统将多台 macOS 设备上闲置的 Apple Silicon GPU 汇聚成一个动态、容错的分布式虚拟 GPU 云，用于大规模机器学习推理，为集中式 GPU 基础设施提供了一种更具成本效益的替代方案。
FlashMask-3 为长上下文训练引入了针对 Hopper 架构优化的掩码感知稀疏注意力内核，以及零通信的分布式掩码定位机制，相比 FlashMask、FlexAttention、MagiAttention 和 Megatron-Core 基线实现了显著的 TFLOPs 和吞吐量提升，其中在 128 张 H100 GPU 上以 128K 上下文训练 118B MoE 模型时，端到端加速达到 7.3%-11.0%。
Unison Cloud 已按 MIT 许可证开源。目前公开了四个项目，包括 Nimbus 工作节点、API 服务器（用 Haskell 编写）以及 UI 等，用户可将任意节点池作为分布式计算机来使用。
Rgpu 是一个开源工具，可通过 TCP 让 PyTorch 张量和现有 CUDA 程序在远程 NVIDIA GPU 上执行计算，客户端应用保持在本地运行，提供 PyTorch 设备接口和 CUDA shim 两条路径。
PyTorch 官方博客发布了面向 PyTorch Conference North America 2026（圣何塞）的 Ray 专题指南，重点介绍来自 Anyscale、Google、LinkedIn、Pinterest 和 Uber 的演讲嘉宾带来的主旨演讲与会议内容，涵盖 Ray 与 Kubernetes 的协同发展、弹性训练栈以及可扩展的强化学习（RL）。
This article demonstrates how to pool RAM from old devices to run a larger local AI model and build a private chatbot using custom knowledge from PDFs, ensuring all data remains local.
本文探讨了构建社区拥有的人工智能以与企业前沿竞争的理念，参考了开源软件模型，并建议使用如Petals这样的技术进行分布式GPU计算，同时强调组织挑战大于技术挑战。
DeepSeek Elastic Compute (DSec) 是专为大规模大语言模型有效代理训练设计的沙盒基础设施，具备弹性执行、统一SDK，并支持与强化学习框架集成。
本文探讨了去中心化AI作为中心化系统替代方案的概念，并回顾了联邦学习和分布式计算的研究，这些研究可能实现AI的集体所有权。
PyTorch 2.14版本引入了容错性作为c10d的一等概念，支持进程组的原地重配置，同时带来了NVGEMM内核、新的nccl2后端以及Apple Silicon的原生线性代数等特性。
NVIDIA在IFA上宣布了PAIR，这是一个工具，可自动链接本地网络系统，分配推理请求，以实现高效的AI代理操作。
Nvidia 已推出 PAIR，这是一个开源工具，可连接闲置的家庭计算机，创建个人AI数据中心，用于分布式本地AI推理任务，支持智能体工作流。
本文提出一种针对通用编码计算的流形感知编码策略，该策略利用高维数据的内在低维几何结构来提高分布式系统中的抗滞后性。实验表明，在神经网络推断和多项式求值任务中，该策略显著降低了均方恢复误差。
PyTorch 2.14 引入了对 Inductor、PyTorch Distributed、动态形状、Apple Silicon 支持等方面的更新，并有现场问答和 PyTorchCon 公告。