标签
本文研究了为何图 Transformer 相比大语言模型很少形成注意力汇聚现象，并表明注意力评分函数——而非图结构——是主要原因：将 GRIT 的门控 logit 替换为点积注意力后，其注意力汇聚率从 0.09 升至 0.68。
本文研究了Transformer中大规模激活的生命周期，表明权重衰减在因果上调控其规模——通过一个AdamW预条件化的增长与衰减平衡模型，预测峰值幅度按λ^{-1/2}缩放。
论文介绍了StreamingLLM，这是一个使用注意力汇聚（attention sinks）的框架，使大型语言模型能够处理无限序列长度而无需微调，从而提高流式应用的效率。
本文证明，注意力沉没、表示坍塌和范数分层并非注意力机制所独有，而是基于内容的路由在盲范数相似性度量下的普遍结果，这一结论在包括Transformer、graph attention、state-space models和recurrent mixers在内的多种架构中得到了验证。
本文分析了大型语言模型在图语言模型（GLM）中如何内部处理图标记，发现激活层面的显著性与图语义效用之间存在解耦。图汇点标记作为激活异常值出现，但并非图结构的主要载体，揭示了当前图标记构建和对齐机制的局限性。
本文识别出大型语言模型（LLM）中极端激活现象产生并传播的“大规模涌现层（Massive Emergence Layer）”，并提出一种缓解其僵化性、提升模型在数学推理和指令遵循等任务上性能的方法。