toy-models

Elhage等人的《叠加的玩具模型》解释了可解释性为何困难：模型通过叠加来用少于特征维度的方式表示更多特征，导致多语义神经元作为压缩手段出现。这篇论文催生了稀疏自编码器的研究计划。