flexattention

预告在 PyTorch Conference North America 上，来自 AMD 的 Huanran Wang 将展示海报 FlexBudget：在统一的 FlexAttention 编译内核与固定显存预算下，只替换 KV 重要性规则，从而对长上下文 KV cache 丢弃策略做公平、免训练的对比。

文章讨论了LLMs如何变得越来越复杂，从简单的Transformer堆栈演变为融入多种注意力变体、混合专家模型和多模态编码器，与推荐系统进行了类比，并强调了像FlexAttention这样可组合内核优化的必要性。