标签
一项预注册的因果审计发现,能够感知协变量的时间序列基础模型(Chronos-2、TiRex-2、TabPFN-TS、TimesFM-2.5)预测的是关联,而非干预效应;研究推导出的混杂差距可通过使用 LoRA 适配器进行简短的干预式后训练,最多缩小 83%。
一项针对小型Transformer的预注册压力测试表明,虽然潜在因果结构可以被定位,但将其释放到行为中却失败:门控检测器在分布外反转,线性释放方向低于充分性界限,从而将定位与行为释放分离开来。
本文研究Transformer如何组织因果知识,表明类型级监督会诱导一种类型化的路由结构,该结构在功能上与答案读出解耦,并具有精确的局部可编辑性和位精确的可还原性。
提出一种协议,通过预注册实验并在预注册后第一个符合条件的模型上运行实验,来减轻基于LLM的研究中的p值操纵,并在多个模型上展示了显著的减轻效果。