标签
本线程讨论了一项发现：嵌入模型在绑定（多对象理解的核心要求）方面存在困难，而解决这一问题需要超越线性表示假说。
本文基于线性表示和叠加假设，引入了一个定量框架，用于估计Transformer语言模型的潜在空间能够支持多少近似正交的方向。作者将表示能力定义为可区分特征的上限，并表明它对允许的正交偏差呈指数敏感，且更大的模型倾向于更严格的约束。
本文研究了Platonic Representation Hypothesis，提出对齐源于表示中的线性结构，并引入了一个包含信号、偏置和噪声的统计框架。