softmax-attention

本文提出PolicyAttention，一种使用因果Softmax注意力的方法来实现强化学习中闭环控制的策略镜像下降，在实验中实现了比现有适应方法更低的损失。

本文分析了一类具有隐藏神经元的联想记忆，使用复制方法推导了相图和存储容量，并将其与transformers中的softmax注意力联系起来。

本文证明，注意力沉没、表示坍塌和范数分层并非注意力机制所独有，而是基于内容的路由在盲范数相似性度量下的普遍结果，这一结论在包括Transformer、graph attention、state-space models和recurrent mixers在内的多种架构中得到了验证。

Wall Attention 将对角遗忘门泛化到 softmax 注意力，实现了从 4k 到 160k+ 上下文的零样本最先进长度外推，并且在预训练中优于 RoPE 和 FoX。它作为即插即用的替换方案发布，附带开源的 Triton 内核。