@songhan_mit: 光速块稀疏注意力：
摘要
Sol-Engine 每周更新宣布集成 Sol Attention，一种用于视频扩散的无需训练的稀疏注意力方法，完整论文将于下周发布。
光速块稀疏注意力：
查看缓存全文
缓存时间: 2026/07/21 16:47
光速块稀疏注意力：
Enze Xie (@xieenze_jr): 🚀 Sol-Engine 每周更新来啦！
本周我们发布了一些新内容：
• 集成 Sol Attention——我们团队针对视频扩散提出的新式免训练稀疏注意力方法（完整论文将于下周发布 🚀）。目前该功能已作为早期彩蛋集成在引擎中。
•
相似文章
Sol-Attn: 通过即时注意力稀疏化加速视频生成推理
Sol-Attn 提出了一种无需训练的方法，用于视频生成推理的注意力稀疏化，通过在线softmax过程中动态选择键值块，实现了超过2倍的速度提升，且质量损失极小。
使用可训练稀疏注意力实现更快的视频扩散
本文介绍了可训练稀疏注意力（VSA），一种硬件高效的稀疏注意力机制，它降低了视频扩散变换器的计算成本，而不影响性能，从而实现更高效的扩展和更快的生成。
LVSA: 用于长视频扩散的无训练稀疏注意力
LVSA 为视频扩散模型引入了一种无训练稀疏注意力机制，将计算量减少高达 3.17 倍，同时能够在训练时长之外进行生成，且无质量损失。
FreeSolo：具有零样本长度外推能力的线性时间稀疏注意力
FreeSolo 提出了一种原生稀疏注意力机制，结合短程滑动窗口和基于长程关键点的双分支结构，实现线性时间复杂度，并在无需昂贵的长上下文微调的情况下，将零样本长度外推能力提升至 256k+ token。
稀疏度应由输出决定：视频扩散 Transformer 中块稀疏注意力的免训练分配
提出 ALLOT：一种免训练的块稀疏注意力分配方法，通过细胞探测与轨迹校准在延迟预算内优化视频扩散 Transformer 各层-步的稀疏度，在 HunyuanVideo 上实现 11.8 dB PSNR 提升。