large-rollout

介绍DualKV，一种FlashAttention内核变体，可消除RL后训练（GRPO/DAPO）中冗余的提示词元计算，在30B MoE模型上实现高达3.82倍的加速。