checkpointing

本线程解释了GPipe，这是一篇关于使用微批处理和激活检查点技术跨多个GPU扩展大模型的流水线并行论文。

DeadPool 为 LLM 训练引入了一种容错机制，能够通过零开销的内存检查点实现故障节点与备用节点的热插拔，在不中断任务的情况下实现快速恢复。

Cerebrium 通过检查点 CPU 和 GPU 内存，减少 AI 工作负载的 GPU 冷启动，在数秒内恢复完全初始化的容器，将启动时间缩短超过 80%。

DataStates-LLM提出了一种可扩展的检查点架构，利用可组合的状态提供程序，相比于现有解决方案，吞吐量提升高达4倍，训练时间减少2.2倍。

一篇博客文章指出，当前的智能体检查点不足以实现生产级弹性，指出了故障检测、自动重试和高可用性等缺口，并建议将智能体构建在高可用编排层之上。

一篇Reddit帖子介绍了一个名为/grill-me的Claude Code技巧，它通过迭代提问从用户那里提取所有上下文，并将决策保存到知识文档中，使初始准确率从70%提升到90%。

作者构建了 Tidebase，一个用于智能体工作流的开源运行时，它使用 Postgres 提供检查点、重试和实时运行状态跟踪，使失败的运行可以从中断处恢复。

一个AI代理（COMMS）在关闭步骤反复崩溃，揭示了按需代理特有的故障模式：工作成功后审计追踪失败。修复方法涉及调整关闭时的生成超时，凸显了需要独立的生命周期检查点。

CrewAI为其开源多智能体框架发布了检查点功能，允许AI工作流保存、恢复、分支和检查，而无需在失败时从头开始。