模型合并能否改进DiLoCo中的聚合？

# 模型融合能否改进 DiLoCo 中的聚合？
来源：https://arxiv.org/html/2607.03011
Stefan Horoi1,2, Benjamin Thérien1,2, Guy Wolf1,2, Eugene Belilovsky2,3
1蒙特利尔大学，2Mila – 魁北克人工智能研究所，3康考迪亚大学
通信作者：stefan\.horoi@umontreal\.ca, eugene\.belilovsky@concordia\.ca
代码：https://github.com/shoroi/isoloco

###### 摘要

模型融合技术（Model merging）将独立微调的模型聚合为一个，以合并其能力，近年来已成为备受关注的话题，众多方法被提出以解决这一问题。与此同时，分布式学习中的一个新兴趋势是使用局部 SGD 和 DiLoCo 等方法，这些方法通过定期聚合独立训练的局部模型，大幅降低了通信成本。然而，这些通信高效的方法在性能上会随着独立局部模型数量的增加以及全局通信前局部训练步数的增加而下降，相对于 FLOP 匹配的数据并行黄金标准。在本工作中，我们在局部 SGD/DiLoCo 中的伪梯度聚合步骤与基于任务算术（task arithmetic）的模型融合之间建立了明确的类比，从而提供了一种在分布式优化环境中利用融合方法的直接途径。随后，我们在此设置下评估了多种最先进的模型融合方法，并发现其中一种方法——Iso-C——是改进 DiLoCo 的有前途方法。我们观察到，采用 Iso-C 聚合的 DiLoCo SGD 不仅优于简单的伪梯度平均，甚至超越了基于动量的 DiLoCo，尽管其本身没有动量机制。基于这一发现，我们提出了 IsoLoCo，该方法通过配备 Nesterov 动量将 Iso-C 适配于分布式训练。我们在不同局部 Worker 数量下对语言模型预训练进行的实证评估表明，IsoLoCo 显著优于 DiLoCo，且随着 Worker 数量的增加，两者之间的差距进一步扩大。这一优势在模型大小和内部步数上均保持稳定，证实了受融合启发的聚合是低通信分布式训练的有效策略。

## 1 引言

近年来大型语言模型（LLM）的成功在很大程度上依赖于模型参数、数据集大小以及训练所用计算量的扩展。然而，在互联网规模的数据集上训练参数数量达数十亿或数万亿的模型面临着巨大的工程挑战。标准做法是采用数据并行（data-parallel）训练，即模型的多个副本并行处理小批量数据，并通过基于梯度的优化聚合梯度更新模型参数。这需要大型、紧密共置的加速器集群，通过高带宽网络连接，并需要精心编排通信以确保高效的资源利用。此外，这种同步训练容易受到设备故障的影响，并且无法充分利用速度或网络拓扑各异的异构硬件。

最近，Douillard 等人（2024）引入了分布式低通信（DiLoCo）训练，这是 FedAvg（McMahan 等人，2017）和 FedOpt（Reddi 等人，2021）的一个变体，采用 AdamW（Loshchilov 和 Hutter，2019）作为内部优化器，以及带有 Nesterov 动量（Nesterov，1983；Sutskever 等人，2013）的随机梯度下降（SGD）作为外部优化器。DiLoCo 使得在连接性能较差的计算集群的多个“孤岛”上训练深度学习模型成为可能。

参考图注 图 1：IsoLoCo 在 Worker 数量扩展性上优于 DiLoCo。FLOP 匹配设置下，178M 参数的 LLaMa-2 模型的最终验证损失随 Worker 数量的变化。

每个集群或*Worker*通过多次局部优化步骤训练自己的模型副本，然后共享累积的参数变化（即*伪梯度*）给其他集群进行全局优化步骤。在每个*外部*同步之间执行多次*内部*优化步骤，使得 DiLoCo 能够在通信显著减少的情况下达到与数据并行训练相当的最终性能。尽管 DiLoCo 在减少通信成本方面非常有效，甚至在 Worker 数量较少时超越了数据并行训练，但其最终性能在 FLOP 匹配的设置下会随着 Worker 数量或内部步数的增加而下降，这使得在不损失 FLOP 效率的情况下进行扩展变得困难（Charles 等人，2026；Thérien 等人，2026；Douillard 等人，2024；Sarfi 等人，2025）。

与此同时，随着强大的基础模型被构建并公开权重，这些模型已被适配到众多下游任务，微调后的版本发布在 HuggingFace（Wolf 等人，2019）和 AdapterHub（Pfeiffer 等人，2020）等公共仓库中。模型融合方法已成为利用此类检查点的一种强大方式，它将多个检查点聚合成一个具有各组成部分能力的模型。最近，*任务算术*（Ilharco 等人，2023）已成为一种简单而强大的模型融合范式。与直接聚合专家模型参数（例如通过平均）不同，*任务向量*被计算出来，用以隔离每个专家微调参数与预训练初始化之间的差异。然后，这些任务向量被聚合、缩放，并加回到预训练模型参数中，通常能带来显著的性能提升。然而，尽管有这些进展，融合模型在其对应任务上的性能通常仍不及每个微调专家，尽管它在多任务整体性能上优于任何单个专家。这种融合性能差距通常归因于任务或参数*干扰*（Yadav 等人，2023；Gargiulo 等人，2025；Marczak 等人，2025）：一种现象，即不同任务训练导致的累积参数更新在融合时可能发生冲突。已知任务干扰会随着被融合模型数量的增加（Ilharco 等人，2023；Yadav 等人，2023；Davari 和 Belilovsky，2024；Marczak 等人，2025）以及微调时长的增加（Zhou 等人，2025；Horoi 等人，2025）而加剧，这促使了旨在减少负干扰的广泛任务算术融合方法（Yu 等人，2024；Gargiulo 等人，2025；Marczak 等人，2025；Yang 等人，2026）。

初看之下，低通信分布式训练方法（如 DiLoCo）和模型融合方法似乎解决的是截然不同的问题。DiLoCo 的动机是在多个连接较差的计算池之间预训练大规模模型和数据集。在此设置中，Worker 在同一训练数据集的互斥子集上优化相同的目标（通常是下一个词预测）。相比之下，模型融合通常被视为一种训练后技术：多个来自共享基础模型、在不同数据分布和/或目标上微调过的检查点，被组合成一个旨在继承它们能力的单一模型。尽管存在这些差异，这两类方法共享一个共同的基础结构。在 DiLoCo 中，Worker 在每次外部优化步骤中通信的量是伪梯度：即前一个全局同步点的模型与经过多次内部优化步骤后本地更新的副本之间的参数差异。从模型融合的角度来看，这些伪梯度可以解释为任务向量，其中参考模型是前一个外部步骤的检查点，而“专家”是内部训练后的本地副本检查点。主要区别在于 DiLoCo 在多轮中重复这种训练和聚合过程，而标准模型融合通常执行一次（通常更显著）的特化步骤，然后进行一次聚合。这种联系还表明，DiLoCo 中随着 Worker 数量或内部优化步数增加而观察到的性能下降，与模型融合文献中研究的负任务干扰直接类似。这种并行性促使我们通过模型融合的视角来看待低通信分布式训练，并提出一个问题：旨在减少干扰的融合方法能否改进 DiLoCo 风格的训练。

参考图注 图 2：DiLoCo 作为迭代模型融合。点表示模型检查点，蓝色点表示本地训练的模型：在模型融合中是微调专家，在 DiLoCo 中是 Worker 副本。蓝色箭头是局部更新——融合中的任务向量和 DiLoCo 中的伪梯度——衡量与共享初始化的位移。红色箭头表示聚合：左侧是一次性融合，右侧是外部优化器更新。形式上讲，使用 SGD 时，DiLoCo 的外部步骤简化为任务算术融合（方程 1 和 2），并迭代应用。

在本工作中，我们桥接了这两个紧密相关但 largely separate 的研究方向。尽管 DiLoCo 最近已成为跨连接较差的计算池进行分布式预训练的有效方法，但其全局聚合步骤仍然简单，通常是平均每个 Worker 产生的伪梯度。相比之下，最近的模型融合方法提出了更复杂的聚合机制，明确旨在减少组合多个独立微调模型的任务向量时的负干扰，包括具有许多专家或长时间微调时的挑战性设置。基于上述识别的结构对应关系（我们在第 2.3 节中明确阐述），我们研究模型融合技术是否可以作为 DiLoCo 伪梯度聚合步骤的直接替代品。具体而言，我们探究这种受融合启发的聚合是否能在 Worker 数量和内部优化步数增加时更好地保持性能——这是已知低通信训练会退化的两种场景。我们的贡献如下：

- 我们建立了 DiLoCo 的伪梯度聚合步骤与基于任务算术的模型融合之间的直接类比（第 2.3 节），表明模型融合方法可以被解释为低通信分布式训练的替代聚合规则。
- 在这一联系的指导下，我们在第 3 节中系统地基准测试了最先进的融合方法作为 DiLoCo 风格训练的直接替换聚合机制，确定了 Iso-C（Marczak 等人，2025）在合理的计算成本下提供了最强的性能，甚至超越了 DiLoCo，尽管其本身没有动量机制（图 1 和表 2）。
- 我们在第 4 节中提出了 IsoLoCo，这是 Iso-C 在实际低通信分布式训练中的适配，配备了 Nesterov 动量。通过在不同 Worker 数量（高达 R=128）、内部步数和模型大小上的大量实验，我们表明 IsoLoCo 始终优于 DiLoCo，并显著缩小了与数据并行训练的差距。
- 我们开发了一种基于快速 Newton-Schulz 迭代的 IsoLoCo 实现，用迭代正交化和奇异值均值的 RMS 代理替代了 SVD，实现了两个数量级的正交化加速（端到端约 15% 加速），且损失退化可忽略不计（约 0.45%）。
- 继最近使用 Muon 作为 DiLoCo 内部优化器的工作（MuLoCo，Thérien 等人，2026）之后，我们展示了 IsoLoCo 可以与 Muon 内部优化器组合，进一步改善 Worker 数量扩展性，在 R≥32 时实现了所有考虑方法中的最低验证损失，而使用 AdamW 内部优化器的 IsoLoCo 在高 Worker 数量下匹配或超越了 MuLoCo，且正交化成本仅为一部分（第 4.4 节）。

## 2 背景与预备知识

### 2.1 分布式低通信训练

DiLoCo 背后的思想可以追溯到联邦学习，其中训练数据分布在许多消费设备上，由于隐私或带宽限制，无法集中聚合。联邦平均（FedAvg，McMahan 等人，2017）通过将全局模型广播给参与的客户端，让每个客户端执行若干局部 SGD 步骤，并通过加权平均聚合产生的更新来解决这个问题。当每个客户端使用相同批次大小只执行一步时，FedAvg 简化为同步数据并行 SGD。后续工作通过将自适应服务器端优化器（如 Adam，Kingma 和 Ba，2015）整合到 FedOpt 框架中（Reddi 等人，2021），解决了 FedAvg 的不足，如超参数调整困难和收敛问题。

算法 1 DiLoCo

1: 初始模型 θ\(0\)
2: R 个 Worker，数据分片 {D1, ..., DR}
3: 优化器 InnerOpt 和 OuterOpt
4: for 外部步骤 t = 1,...,T do
5:   ▷ 内部优化
6:   for Worker i = 1,...,R 并行 do
7:     θi\(t\) ← θ\(t-1\)
8:     for 内部步骤 h = 1,...,H do
9:       x ~ Di
10:      L ← f(x, θi\(t\))
11:      θi\(t\) ← InnerOpt(θi\(t\), ∇L)
12:     end for
13:   end for
14:   ▷ 平均伪梯度
15:   Δ\(t\) ← (1/R) Σ_i (θ\(t-1\) - θi\(t\))
16:   ▷ 外部优化
17:   θ\(t\) ← OuterOpt(θ\(t-1\), Δ\(t\))
18: end for