flexattention

文章讨论了LLMs如何变得越来越复杂，从简单的Transformer堆栈演变为融入多种注意力变体、混合专家模型和多模态编码器，与推荐系统进行了类比，并强调了像FlexAttention这样可组合内核优化的必要性。