representational-capacity

本文基于线性表示和叠加假设，引入了一个定量框架，用于估计Transformer语言模型的潜在空间能够支持多少近似正交的方向。作者将表示能力定义为可区分特征的上限，并表明它对允许的正交偏差呈指数敏感，且更大的模型倾向于更严格的约束。

本文从理论上刻画了神经过程（NP）架构的表征能力，证明了条件NP、注意力NP、卷积NP和Transformer NP之间存在严格的层级关系，并表明有限维潜变量不会将表征能力扩展到编码器之外。