Agora：集体化无许可的互联网规模大型语言模型预训练

# Agora：大规模语言模型的集体化、无许可互联网规模预训练
来源：https://arxiv.org/abs/2607.13332
作者：Gil Avraham (https://arxiv.org/search/cs?searchtype=author&query=Avraham,+G), Violetta Shevchenko (https://arxiv.org/search/cs?searchtype=author&query=Shevchenko,+V), Hadi Mohaghegh Dolatabadi (https://arxiv.org/search/cs?searchtype=author&query=Dolatabadi,+H+M), Karol Pajak (https://arxiv.org/search/cs?searchtype=author&query=Pajak,+K), James Snewin (https://arxiv.org/search/cs?searchtype=author&query=Snewin,+J), Harry Xi (https://arxiv.org/search/cs?searchtype=author&query=Xi,+H), Rodney O'Donnell (https://arxiv.org/search/cs?searchtype=author&query=O%27Donnell,+R), Thalaiyasingam Ajanthan (https://arxiv.org/search/cs?searchtype=author&query=Ajanthan,+T), Sameera Ramasinghe (https://arxiv.org/search/cs?searchtype=author&query=Ramasinghe,+S), Chamin Hewa Koneputugodage (https://arxiv.org/search/cs?searchtype=author&query=Koneputugodage,+C+H), Shamane Siriwardhana (https://arxiv.org/search/cs?searchtype=author&query=Siriwardhana,+S), Alexander Long (https://arxiv.org/search/cs?searchtype=author&query=Long,+A)

查看 PDF (https://arxiv.org/pdf/2607.13332)

> **摘要：**训练数十亿到万亿参数规模的大型语言模型仅限于数据中心环境，其中数据并行（DP）和模型并行（MP）技术假设使用同质加速器、高速互连以及单一编排实体。前沿模型开发因此集中在少数能够搭建此类集群的团队手中。与此同时，大量计算资源——异构、可抢占、归个人所有且仅通过互联网连接的消费级和专业级GPU——仍无法用于训练。我们提出了Agora，一个能够高效利用这些计算资源的系统。Agora将带宽高效的流水线并行模型分片（适用于互联网级链路）与多方容错集体通信操作相结合。每个参与者仅持有模型的一个阶段，没有任何一方能获得完整权重。我们将这种设置称为协议学习（Protocol Learning）：它实现了集体训练、集体拥有的模型，为开源前沿训练开辟了一条经济可持续的道路。本文报告了一项涵盖通信高效并行计算、异步优化和容错系统设计的研究成果。最终成果是首次此类演示：Pluralis-8B——一个86亿参数模型在500B tokens的FineWeb-Edu上进行的开放、无许可预训练运行。该模型在40天内由330个贡献节点训练完成，这些节点主要是使用互联网连接的消费级GPU，且随时加入和退出。该运行维持了约170k tokens/s的吞吐量，以及每TFLOP计算资源产出4.2个token的效率，达到了集中式H100基准效率的63%，并且收敛结果与集中式参考运行的差距很小。

## 提交历史

来自：Gil Avraham [查看邮件 (https://arxiv.org/show-email/091cec7d/2607.13332)] **\[v1\]** 2026年7月14日星期二 23:32:18 UTC (7,028 KB)