标签
一篇综述论文，考察Transformer作为语言识别器的表达能力，运用电路复杂性的概念和方法将其与经典计算模型进行比较。
这篇理论论文分析了填充Transformer的表达能力，表明与数值精度和模型深度相比，注意力类型、宽度和均匀性的影响很小。它建立了Transformer变体与电路复杂性类（如AC0和TC0）之间的等价关系，提供了稳健的特征描述。