sequence-parallelism

FVAttn是一种无需训练的稀疏注意力系统，利用运行时负载均衡提升多GPU序列并行下自适应稀疏注意力的分布式执行效率。在基于步骤蒸馏的Wan2.2 I2V上，相比于FlashAttention，注意力速度提升最高达4.41倍，推理速度提升2.11倍，同时保持有竞争力的视频质量。

第19讲高效AI分布式训练总结，涵盖数据、流水线、张量和序列并行方法，并附有关内存和通信瓶颈的说明。

这篇来自NVIDIA Research的博客讨论了序列并行化如何扩展长视频训练系统，既支持理解任务也支持生成任务，解决了在多GPU上适配超长视频序列的挑战。

Ulysses 序列并行是一种用于训练具有百万Token上下文的大语言模型的技术，通过将序列块分布在多个GPU上来降低内存需求，实现高效的长上下文训练。它与HuggingFace Accelerate、Transformers Trainer和TRL集成，支持Flash Attention和DeepSpeed ZeRO。