Transformers 本质上是简洁的

Hacker News Top 2026/06/05 18:50 论文

transformers succinctness neural-networks ai-research theory interpretability

摘要

本文认为 Transformer 架构本质上是简洁的，意味着它们比其他模型能更高效地表示某些函数。本文提供了理论分析和证明。

本文将在 ICLR 2026（顶级人工智能会议）上发表，并被选为三篇杰出论文之一。

查看原文

查看缓存全文

缓存时间: 2026/06/05 20:09

无法翻译：输入内容为PDF二进制数据，不是Markdown文章。

相似文章

arXiv cs.AI

一篇综述论文，考察Transformer作为语言识别器的表达能力，运用电路复杂性的概念和方法将其与经典计算模型进行比较。

Reddit r/artificial

一个1.5亿参数的非Transformer架构在ARC-AGI-1上实现了最先进的成本效率，并获得了Transformer论文联合作者Łukasz Kaiser的验证，表明循环潜在推理可以取代暴力扩展。

arXiv cs.LG

这篇理论论文分析了填充Transformer的表达能力，表明与数值精度和模型深度相比，注意力类型、宽度和均匀性的影响很小。它建立了Transformer变体与电路复杂性类（如AC0和TC0）之间的等价关系，提供了稳健的特征描述。

TLDR AI

Extropic引入Z1T，一种针对其概率性Z1硬件优化的稀疏类Transformer模型，通过算法-硬件协同设计提升Transformer推理的能效。

arXiv cs.LG

本文证明，在数独求解轨迹上训练的Transformer构建了由领域约束组织的结构化世界模型，并识别出一个稀疏、单语义的电路，负责裸单决策规则。该工作为Transformer在组合任务上的推理提供了完全可解释的算法描述。