information-locality

本文研究了在不可能语言（信息局部性被破坏）上预训练的GPT-2模型如何恢复自然英语，显示出对更短依赖长度的偏好以及结构恢复与表层恢复之间的分离。