inference-throughput

DualPath是一种通过引入双路径KV-cache加载机制来打破智能体LLM推理中存储带宽瓶颈的系统，离线吞吐量提升可达1.87倍，在线吞吐量提升可达1.96倍。

本文介绍了结构化循环混合器（SRM），这是一种架构，无需专用内核即可在并行训练和循环推理之间进行代数转换。实验表明，与 Transformer 相比，SRM 实现了显著更高的吞吐量和并发能力，并在强化学习任务中表现出有效性能。