transformer-mechanistic-interpretability

本文证明，在数独求解轨迹上训练的Transformer构建了由领域约束组织的结构化世界模型，并识别出一个稀疏、单语义的电路，负责裸单决策规则。该工作为Transformer在组合任务上的推理提供了完全可解释的算法描述。