标签
研究表明，仅在非线性动力系统的受限参数区间上训练的小型自回归Transformer（包括logistic/sine映射、Lorenz系统和Hopf系统），能够外推出远超训练分布范围的全局动力学，复现出直至周期128的倍周期级联，并将Feigenbaum常数精确到5e-4以内；因果干预实验揭示了控制参数信息如何通过注意力机制流向状态预测。
本文证明了 Transformer 可以具备可靠的内部世界模型，通过机制性分析表明其故障源于特征干扰而非不连贯的映射，并提出了“可供性打包”方法以提升性能。
该论文发现，在语言模型中，事实回忆期间，关系类型信息比实体特定信息更早地成为控制生成的因素，表明存在一种时间不对称性，且在多种模型和提示系列中均表现稳健。
本文介绍了因果视觉循环推理（CVRR），一种强制进行循环隐藏状态计算的视觉推理方法，它在基准测试中提升了性能，同时区分了潜在信息性和实际预测用途。
本文使用因果干预来研究多语言模型中的句法机制，揭示了基于类型学相似性的分级跨语言迁移。
本文表明，在开源权重的Gemma模型中，可以通过隐藏状态分析、因果干预和反事实基准来识别和控制材料科学机制，揭示了物理关系在状态变换中比在绝对状态中更为明显。