pipelining

博客文章介绍如何通过 CyclicBarrier 将锁步（lockstep）tick 游戏循环改造为流水线（pipeline）tick 系统，只需约三行代码改动即可让读写阶段并行执行，从而将 tick 时间从读写时间之和降到最大单阶段时间，同时保留背压与超时跟踪能力。

本文介绍了管理长上下文长度下训练大型混合专家模型内存峰值的技术，包括Pipelined LLEP、Ring-DTP、SCO和OffloadStreamAdamW，这些技术实现了固定的GPU工作集，并将吞吐量提高了多达10.4倍。

StreamMA 提出了一种用于多智能体推理的流式通信范式，通过管道化中间结果来降低延迟，并利用更可靠的早期步骤提升效果，在多个基准测试中优于基线方法，同时揭示了步骤级别的缩放定律。