标签
本文介绍了管理长上下文长度下训练大型混合专家模型内存峰值的技术，包括Pipelined LLEP、Ring-DTP、SCO和OffloadStreamAdamW，这些技术实现了固定的GPU工作集，并将吞吐量提高了多达10.4倍。
StreamMA 提出了一种用于多智能体推理的流式通信范式，通过管道化中间结果来降低延迟，并利用更可靠的早期步骤提升效果，在多个基准测试中优于基线方法，同时揭示了步骤级别的缩放定律。