利用智能网络的分布式训练

arXiv cs.LG 论文
distributed-training wide-area-network fpga multicast optimization machine-learning

摘要

本文提出了一种方法，通过利用多播技术和在线FPGA，以及同步调度的优化框架，来增强广域网上的分布式训练，以最大化信息交换并减少性能差距。

arXiv:2608.26453v1 公告类型：新 摘要：跨广域网（WAN）的分布式训练具有挑战性，因为计算岛屿之间的持续参数交换受限于有限的带宽、高延迟和不均匀的拓扑结构。我们提出让网络成为训练的积极参与者。在系统层面，此类网络应利用（i）多播技术复制出站流量，以及（ii）在线FPGA聚合入站流量，以缓解出入口瓶颈。这些技术已用于数据中心内工人之间的训练，但本文将其扩展到WAN。在算法层面，我们开发了一个优化框架，围绕底层网络拓扑和这些技术生成丰富的同步调度（即，旋转的岛屿集群），以最大化信息交换。最后，我们在一个基于DoubleZero网络建模的九城市拓扑上说明了这一点，DoubleZero是一个配备了这两种技术的活体可编程WAN，并展示了最优调度如何随网络能力而变化。总之，这些可以缩小与黄金标准——同位训练的差距。
查看原文
查看缓存全文

缓存时间: 2026/08/28 09:39 

# 利用智能网络实现分布式训练
来源：https://arxiv.org/abs/2608.26453
查看PDF (https://arxiv.org/pdf/2608.26453)

> 摘要：在广域网（WAN）上进行分布式训练颇具挑战，因为计算岛之间的持续参数交换受限于有限带宽、高延迟和不均衡的拓扑结构。我们提出让网络成为训练过程的积极参与者。从系统层面而言，此类网络应利用（i）多播技术复制出站流量，以及（ii）线内现场可编程门阵列（FPGA）聚合入站流量，以缓解出口和入口瓶颈。这些技术已用于数据中心内各工作节点间的训练，但本文将其拓展至广域网环境。从算法层面，我们开发了一种优化框架，能够围绕底层网络拓扑及上述技术生成丰富的同步调度方案（即计算岛的轮转团），从而最大化信息交换。最后，我们在基于DoubleZero网络建模的九城拓扑上进行了演示，DoubleZero是配备了这两种技术的可编程广域网，并展示了最优调度方案如何随网络能力而调整。这些方法共同作用，可以缩小与理想化的同址训练之间的差距。

## 提交历史
来自：Nihar Shah \[查看邮件 (https://arxiv.org/show-email/838fc6c5/2608.26453)\] **\[v1\]**2026年8月26日 星期三 22:58:24 UTC（275 KB）

相似文章

计算孤岛训练漫游指南（阅读需18分钟）

TLDR AI

这篇文章探讨了如何利用多个规模较小、独立调度的“算力孤岛”来训练前沿模型，通过混合使用不同代际、不同厂商的加速器，扩大可用于训练的算力资源池。同时，文章指出，当单个遭入侵或发生故障的站点就可能在不知不觉中损害模型性能时，完整性和安全风险也会随之增加。