标签
深入探讨字节跳动verl强化学习后训练框架的内部机制，包括编排、单控制器模式以及一个棘手的NCCL错误修复。作者分享了复刻该框架和构建自定义工具的经验教训。
解释了前沿AI训练如何通过五个维度分配工作来使用多达2048块GPU，揭开了模型训练框架的神秘面纱。
本文提供了关于现代大型语言模型（如ChatGPT和Claude）从零开始构建的全面逐步解析，涵盖了数据收集、分词、Transformer架构、训练、对齐和部署。
DynaTrain 是一个分布式训练系统，能够在大语言模型上实现亚秒级在线并行度重配置，通过虚拟参数空间抽象，使转换速度比现有方法快多达三个数量级。
本文指出了Dion低秩谱优化器中的几何失配，并提出了Orth-Dion，该方案用QR正交化替换列归一化，以在相同通信成本下弥合与Muon等全秩方法的收敛差距，并在大规模语言模型预训练中进行了验证。
SignMuon是一种1位、感知矩阵的分布式训练优化器，它结合了signSGD的多数投票符号聚合与Muon的极坐标步骤框架，在float32基础上实现32倍带宽缩减，同时在CIFAR-10/ResNet-50和nanoGPT等基准测试上保持强大的收敛性和性能。
Hyperspace推出了一种点对点代理网络，用于跨消费设备进行分布式AI训练，实现高压缩且无需中央基础设施的协作模型训练。
At PyTorchCon Europe 2026, Edward Yang explains PyTorch's new pre-compilation support for distributed training and SPMD type system to help developers write correct tensor parallelism code, addressing common pitfalls in gradient correctness.
一篇博客文章指导读者如何搭建树莓派集群进行分布式训练和推理，这是系列教程的一部分，旨在利用实惠的硬件让分布式AI变得可及。
PyTorch 2.12 版本包括对编译、导出、分布式训练和加速器支持的重大更新，CUDA 上批量化 linalg.eigh 速度提升高达 100 倍，并新增了 torch.accelerator.Graph 等 API。
DeepSpeed 是一个由微软开发的开源深度学习优化库，能够高效地实现大规模模型的分布式训练和推理，具备 ZeRO、3D 并行和 Mixture-of-Experts 等特性。
本文介绍了 DisagMoE，一种 MoE 训练系统，通过将注意力层和前馈网络（FFN）层解耦到不同的 GPU 组来优化计算与通信的重叠。该系统基于 Megatron-LM 实现，通过解决节点间通信瓶颈，在 H800 集群上实现了高达 1.8 倍的加速。
DeepMind 推出 Decoupled DiLoCo，这是一种新型分布式 AI 训练架构，通过隔离硬件故障，实现大型模型在全球分散数据中心之间的弹性、低带宽训练。
ResBM提出了一种基于Transformer的架构，采用残差编码器-解码器瓶颈用于流水线并行训练，在保持收敛的同时实现了128倍激活压缩。该工作通过减少阶段间通信开销，推进了去中心化、互联网级分布式训练的发展。
Hugging Face 发布了对 16 个开源强化学习库的全面分析，研究异步 RL 训练的架构模式，并为 TRL 的异步训练器设计经验教训，以解决生成瓶颈和权重同步挑战。
Ulysses 序列并行是一种用于训练具有百万Token上下文的大语言模型的技术，通过将序列块分布在多个GPU上来降低内存需求，实现高效的长上下文训练。它与HuggingFace Accelerate、Transformers Trainer和TRL集成，支持Flash Attention和DeepSpeed ZeRO。
OpenAI 展示了在分布式 GPU 集群上训练大规模神经网络的全面技术，涵盖数据并行、管道并行、张量并行和专家混合等方法，以克服工程和可扩展性挑战。
本文详细介绍了PyTorch分布式数据并行模块的设计与优化，重点阐述了梯度分桶（gradient bucketing）和计算-通信重叠等技术，这些技术使系统在使用256个GPU时实现了接近线性的可扩展性。