标签
该论文提出 LeMA，一种用于多 GPU 大规模神经网络训练的分布式 Levenberg-Marquardt 算法，通过精确对偶公式与 Jacobian 分片策略，将内存开销从参数量平方降低到批量大小平方，并在约 10 亿参数 CNN 上实现 8 GPU 近线性扩展。
该论文研究了分布式训练中外部Nesterov动量在随机伪梯度上的稳定性，推导了随机二次模型上的精确均方稳定性判据，揭示了内层批量大小、本地步数与工作节点平均对训练稳定性的联合影响，并在神经网络上验证了理论结论。
TorchNeuron 作为 PyTorch 的原生 Trainium 后端发布公测，Hugging Face 的 Transformers、Diffusers 等库可直接将其作为普通设备使用，显著提升了模型支持率并取代 Optimum Neuron 的复杂封装。
PyTorch 博客介绍 Zephon 与 TorchTitan 的集成，实现弹性确定性数据加载：训练从 16 GPU 检查点在 8、32、64 GPU 上恢复时，每个全局批次的 SHA-256 哈希与原始运行完全一致。
论文提出了 Optimal Hydra，一种面向大语言模型微调的模型异构联邦学习框架。该框架通过全局层级选择和基于客户端数据分布的注意力头选择，构建客户端专属子网络（Hydra-nets），在三个数据集上显著优于基线方法，并降低了本地资源需求。
Chef Robotics 训练其食品组装机器人背后的 Vision-Language-Action 模型速度提升 10 倍，在 16 块 A100 上实现 92% 的多 GPU 扩展效率，依托 Anyscale 与 Ray 平台加速分布式训练。
该论文研究了分布式大语言模型训练中内部优化器如何影响副本扩展，识别出伪梯度协方差结构与噪声尺度两个关键因素，并从理论和实证上证明，基于白化的预条件优化器能够实现最强的工作节点扩展性能。
我们使用全异步强化学习，通过混合精度、混合加速器采样器，在智能体编程任务上训练了一个模型，并通过应用离策略校正，以更低的成本实现了与同构集群相当的训练稳定性。
DisaggKD 提出将教师与学生模型分离到不同节点上进行知识蒸馏，并设计一种融合损失在行窗口与词汇表分片上等价于全词汇表损失，从而突破单 GPU 内存限制，在 Qwen3.5 等大模型对上实现与同位部署相当的损失且训练更快。
字节跳动和复旦大学的研究人员推出了 ByteExpress，这是一种基于 RDMA 的软件通信层，用于大规模参数服务器推理和训练。据报告，在生产部署中，与 TCP 相比，其 P99 推送延迟最多降低了 74%，并显著节省了 CPU 资源。
该论文提出关联专家放置（correlated expert placement）与令牌重排（token shuffling）方法，利用路由器学习到的专家间相关性，在不改变路由决策和模型参数的前提下，将 all-to-all 通信时间缩短 1.16–2.63 倍，在 Megatron-LM 中端到端 MoE 预训练每步耗时最高降低至原来的 1/1.41。
PyTorch 加速器集成工作组发布了 2026 年上半年的技术回顾，内容涵盖跨仓库 CI 中继（CRCR）、重构后的设备无关测试套件、OpenReg 参考后端的成熟、分布式与 torch.compile 支持，以及新的附加计算平台门户，旨在实现厂商中立的标准化硬件启用。
Aleph Alpha 介绍了他们如何将 30B-A3B MoE 模型（被证实为 Kolibri Origin）的预训练从 16 块 NVIDIA B200 GPU 扩展到 512 块，采用分层超参数搜索方法，实现了 35.3% 的 MFU，接近线性扩展——仅比理想情况低 6%，训练基于 InfiniBand/NVLink 网络，使用自定义的 torchtitan 分支。
一位开发者分享了他在构建 Apex-2 过程中的经验教训。Apex-2 是一个小型开源大语言模型，使用约 80B tokens 训练，成本约 2000 美元，涉及 GPU 瓶颈、基于 DiLoCo 风格的 GH200 实例分布式训练，以及对 FineWeb-Edu 和 DCLM 数据集的激进 MinHash 去重。
SkyRL v0.4.0 已发布，新增对 GLM 5.3 Flash/5.3、Kimi K2.7、Qwen3.8 和 Nemotron 3.5-Lightning 的支持，并带来完整的 FP8/MXFP8 强化学习、Top-P 采样器重放，以及面向大规模后训练的分片 P2P 权重传输。
Ai2 发布 Olmo-core 3，一款面向大规模 MoE 训练的开源框架升级，采用基于 DDP 的路由设计与多种并行技术，可在保持约 3.2B 激活参数的情况下将总参数扩展至万亿级别，吞吐量较旧实现提升约 2.7 倍。
AllenAI 发布了 Olmo-core 3，这是一个为大规模混合专家（MoE）大语言模型重新设计的开放、可扩展训练框架。其基准测试显示，总参数规模超过一万亿，在专家池扩展时吞吐量损失极小。
本文提出了 FLIP（联邦学习互操作性平台），这是一个开源的多应用平台，使医疗领域的跨洲联邦学习具备可重复性。研究通过在英国和泰国的节点上对合成胸部 X 光数据集进行联邦微调与评估，对其进行了验证。
SlideDP 提出了一种用于驻留主机内存的层流式（layer streaming）方案的异步数据并行运行时，可在多 GPU 上对超出显存容量的 LLM 进行微调；在四块 RTX 4090 上微调 Qwen2.5-72B 时，其吞吐量相比 SlideFormer、MegaTrain 和 ZeRO-Offload 提升了 1.46–2.64 倍，甚至超过了 FSDP2 的峰值吞吐量。
Nereus 是一个成本感知运行时，它将针对大型语言模型的强化学习后训练任务调整为高效执行计划，将延迟降低27.7%，并将吞吐量提升最多7.27倍，相比现有工具。