fault-tolerance

Agora支持利用通过互联网连接的异构、可抢占的消费级GPU进行集体化、无许可的互联网规模大型语言模型预训练，成功使用330个节点的Pluralis-8B训练运行证明了这一点。

本文认为，在分布式系统中实现精确一次执行是不可能的，并且必须设计代理栈来应对这一限制。

AMD 和 Meta 贡献者将 PyTorch Monarch 移植到 AMD Instinct GPU 并配合 ROCm，实现了大规模容错分布式训练。该博客详细介绍了工程工作以及在大型集群上的验证情况。

本文描述了将分布式训练运行时 PyTorch Monarch 移植到基于 ROCm 的 AMD GPU 的过程，实现了大规模单控制器容错训练，并解决了大规模 LLM 训练中的可靠性挑战。

DeadPool 为 LLM 训练引入了一种容错机制，能够通过零开销的内存检查点实现故障节点与备用节点的热插拔，在不中断任务的情况下实现快速恢复。

ProWAFT是一种主动式工作负载感知容错框架，用于基于FPGA的CNN加速器，通过部分重配置选择性应用三模冗余（TMR），以最小化延迟、能耗和可靠性风险的综合目标。

微软开源了pg_durable，这是一个PostgreSQL扩展，支持长时间运行的SQL函数的持久化执行，具有自动检查点和容错恢复功能。

本文介绍了如何使用 RetryPolicy、TimeoutPolicy 和错误处理程序为 LangGraph 代理添加容错能力，涵盖带退避的重试、超时以及用于生产环境可靠性的补偿逻辑。

DeepMind 推出 Decoupled DiLoCo，这是一种新型分布式 AI 训练架构，通过隔离硬件故障，实现大型模型在全球分散数据中心之间的弹性、低带宽训练。