Transformer注意力机制中的执行控制不足

Hacker News Top 2026/06/10 23:35 论文

transformer attention executive-control neural-networks ai-research cognitive-science

摘要

本文讨论了Transformer注意力机制中执行控制的不足，强调了Transformer在处理序列依赖关系方面的局限性。

暂无内容

查看原文

相似文章

arXiv cs.AI

本文表明，满足机制角色声明常见标准（必要性、线性可解码性、消融可逆性）的注意力头，在跨提示词转移计算时常常失败，并引入了KID（Knowing/Intent/Doing）框架和一个三阶段流水线，用于更严格的角色分配。

Reddit r/ArtificialInteligence

文章解释了深度Transformer层中的注意力熵坍缩是训练带来的几何后果，而非Bug，并提出了一个三行温度调度来预防它。

Reddit r/singularity

《Attention is All You Need》这篇开创性论文的一位合著者主张，这个领域应该超越Transformer，而Pathway主办的一场辩论正在探讨这一话题。

arXiv cs.AI

本立场论文澄清了Transformer图灵完备性的主张常常依赖于不切实际的扩展假设，并论证在现实世界的固定模型中，上下文管理是决定计算能力的关键因素。

arXiv cs.LG

本文提出了一种利用时序自注意力进行元控制的架构，旨在对具有不可观测记忆状态的欧拉-拉格朗日系统进行自适应控制。在2自由度机械臂上的实验表明，该方法在追踪性能上优于基线方法，同时揭示了在长记忆机制下的失效模式。