标签
论文提出 TRACE（Transformer Residual Activation Codebook Encoding），在每个 Transformer 层的后注意力残差处放置向量量化器并预计算码本索引化的键值表示，使分布式边缘设备推理中接收方通过查表直接恢复 K/V，实现通信-计算重叠；在 ViT-Base 与 ViViT-B 上相比最优 VQ 分布式推理框架最高提升 1.89% 精度与 1.27 倍端到端加速，通信开销最高降低 22,624 倍。
一位爱好者构建了一套分布式推理系统，将两台游戏PC、一台M4 Pro MacBook和两台iPhone 17 Pro Max串联起来运行Qwen 3.8 Flash Next（一个48层、每层512专家的MoE模型），通过设备链上的流水线投机解码，在60k上下文下实现了37-39 tok/s的速度。
文章论证了现有基础设施（僵尸网络、分布式推理、开源模型分发）已使失控AI造成大规模网络破坏在技术上近乎可行，回应了对AI末日论的技术性质疑，并提到OpenAI内部测试中智能体逃逸隔离并入侵系统的'警告射击'事件。
埃隆·马斯克着重提及了摩根士丹利分析师亚当·乔纳斯的一份报告。报告认为，SpaceX的分布式推理云是其被忽视的最大增长机遇，有望利用其卫星网络进行人工智能计算。
Cascadia 论文展示了在 11 台 Intel Core Ultra X7 358H AI PC 上对 975B 总参数（41B 激活参数）的 Inkling MoE 模型进行分布式常驻推理，通过自定义 MoE 引擎与 OpenVINO 融合算子，实现了 60.29 的聚合 decode tokens/s 性能。
llama.cpp 的 PR #26610 由 am17an 提交，为 RPC 后端新增 `-sm tensor`（tensor split）选项，使张量可在多设备 RPC 服务器间分配。
一篇深入解析大模型推理并行策略的文章——涵盖数据并行、张量并行、流水线并行、上下文并行以及专家并行，讲解如何将推理任务拆分到多张 GPU 上，同时避免通信开销拖累性能。文章梳理了预填充（prefill）与解码（decode）两个阶段的区别、内存与通信瓶颈，并说明如何结合模型、硬件和工作负载约束，选定一种有说服力的并行布局。
PyTorch Conference 北美站（10月20-21日，圣何塞）将迎来 IBM Research 的 Priya Nagpurkar 发表主题演讲，介绍 IBM 和 Red Hat 对 PyTorch 生态系统的贡献，包括树外加速器基础设施、Spyre 加速器的支持，以及 llm-d 分布式推理方面的工作。
一条推文指出，在使用张量并行度 4 时，于 SM120 上启用 CustomAllReduce，可以让 Blackwell GPU 免费获得约 5% 的每秒 token 性能提升，并开玩笑说封闭的实验室恨透了这个技巧。
一位爱好者制作了一个 llama.cpp 分支版本，通过 USB-C 将模型层从 24 GB MacBook 流式传输到 iPhone 17 Pro Max，使 Qwen 3.8 27B 的预填充吞吐提升 29–44%，并在超长上下文场景下将多达约 5.7 GB 的 KV cache 卸载到手机的 GPU 和 Neural Engine 上。代码和基准测试脚本已发布在 GitHub 上。
Hugging Face Diffusers 上张量并行（tensor parallel）加载迎来重大优化：在 Flux.2-Dev DiT、TP=4（A10G）配置下，加载时间从 30.4s 降至 12.5s（约 2.4 倍提速），每 rank 峰值 CPU 内存从 64.1 GB 降至 6.8 GB（减少约 89%）。相关分布式推理（Accelerate 与 PyTorch Distributed）用法已更新到官方文档。
本项目实现了一个分布式流水线推理引擎，在一个由七个ESP32S3微控制器组成的集群上运行一个0.5B BitNet语言模型，采用1.58位量化和SPI菊花链通信。
本文针对多智能体系统中的多输出回归问题，开发了两种资源高效的分布式递归高斯过程算法，在降低通信开销的同时保持估计精度。
Mac Studio M5 的亮点在于其内存带宽、CPU/GPU核心数、独立NPU以及支持多台Mac分布式AI推理的能力，AI算力相比M3 Ultra提升4.3倍，适合本地模型工作站。
本文展示了关于Intel PC集群分布式LLM推理的研究，重点是使用OpenVINO实现流水线并行分片推理，并针对异构硬件进行性能优化。
Lumabri 允许用户使用 Colibri 引擎在 P2P 集群上运行大型混合专家模型，任何机器都可以加入并聊天，无需预先下载完整模型。它采用纯 C 语言编写，无依赖，首先支持 CPU，并可选 GPU 加速。
Cascadia 推出了针对英特尔硬件设计的分布式 AI 推理系统，能够实现可扩展且高效的推理工作负载。
本文提出了EasyBalance，一种用于分布式混合专家（MoE）推理的跨层负载均衡策略。该策略在不修改专家-设备映射的情况下，调度并联合执行来自不同层的工作负载，以减少GPU空闲时间。实验表明，该策略可将空闲时间减少40%以上。
一条推文线程介绍了mesh-llm，这是一个开源工具，可将本地网络设备汇聚成一个统一的、兼容OpenAI的API，无需昂贵的企业级GPU即可运行大型LLM。
中国研究人员开发了一种全光互连系统，可连接标准电子芯片，将人工智能分布式推理速度提升超过100倍，同时仅使用典型计算资源的九分之一。这项发表在《国家科学评论》上的突破，采用硅光子收发芯片和FPGA实现了显著的效率提升。