emergent-representations

本文表明，通过随机物理探索训练世界模型，能够在不依赖任何语言监督的情况下，使潜在表征编码出空间语义结构（方向和位置），突显物理几何作为组织原则。

本文证明，在数独求解轨迹上训练的Transformer构建了由领域约束组织的结构化世界模型，并识别出一个稀疏、单语义的电路，负责裸单决策规则。该工作为Transformer在组合任务上的推理提供了完全可解释的算法描述。