标签
该论文研究长上下文 LLM 服务中远程 KV 缓存层级的性能瓶颈，提出按并行 rank 分片 MLA KV 存储、异步加载等优化，将 p99 延迟从 83.32 秒降至 0.67 秒，并显著提升预填充吞吐。
FlashMask-3 为长上下文训练引入了针对 Hopper 架构优化的掩码感知稀疏注意力内核，以及零通信的分布式掩码定位机制，相比 FlashMask、FlexAttention、MagiAttention 和 Megatron-Core 基线实现了显著的 TFLOPs 和吞吐量提升，其中在 128 张 H100 GPU 上以 128K 上下文训练 118B MoE 模型时，端到端加速达到 7.3%-11.0%。
Design-CP 为 RFdiffusion 3 引入了上下文并行推理策略，通过将二次激活分布到多个 GPU 上，实现了大型多聚体蛋白质纳米颗粒的全原子设计，从而在较小的 GPU 集群上使大规模组装蛋白质设计变得可行。