transformer-language-models

本文基于线性表示和叠加假设，引入了一个定量框架，用于估计Transformer语言模型的潜在空间能够支持多少近似正交的方向。作者将表示能力定义为可区分特征的上限，并表明它对允许的正交偏差呈指数敏感，且更大的模型倾向于更严格的约束。

本文提出了一种用于Transformer语言模型中因果特征分析的五阶段方法论，并在GPT-2 small上针对IOI任务进行了演示。研究发现特征具有特定的因果性但并非必要，并揭示了检测鲁棒性与因果鲁棒性之间的差距。