Transformer注意力机制中的执行控制不足

Hacker News Top 2026/06/10 23:35 论文

transformer attention executive-control neural-networks ai-research cognitive-science

摘要

本文讨论了Transformer注意力机制中执行控制的不足，强调了Transformer在处理序列依赖关系方面的局限性。

暂无内容

查看原文

相似文章

arXiv cs.AI

本文表明，满足机制角色声明常见标准（必要性、线性可解码性、消融可逆性）的注意力头，在跨提示词转移计算时常常失败，并引入了KID（Knowing/Intent/Doing）框架和一个三阶段流水线，用于更严格的角色分配。

arXiv cs.LG

本文提出了一项对照研究，比较了仅注意力Transformer（简单注意力网络，SANs）与在参数、计算量和深度上匹配的标准Transformer。研究发现，当将释放的容量重新分配给注意力深度时，移除前馈层在很大程度上缩小了性能差距，剩余差距归因于参数回忆。

X AI KOLs Timeline

这个帖子认为，标准Transformer存在一个拓扑缺陷：一旦状态表示到达顶层，它们就无法随时间更新信念，随着层数增加导致崩溃。

Reddit r/ArtificialInteligence

文章解释了深度Transformer层中的注意力熵坍缩是训练带来的几何后果，而非Bug，并提出了一个三行温度调度来预防它。