标签
本文从因果中介分析重新推导激活修补，揭示自然间接效应（NIE）不仅捕捉组件的因果效应，还捕捉与其他组件的交互效应。文章在GPT-2 IOI电路中展示了这些隐藏交互，并论证它们是一种诊断工具而非干扰。
本文引入读出-中介角度，证明线性探针可以从语言模型激活中解码出与模型实际因果计算正交的信息，从而削弱了基于探针的可解释性。该发现跨模型规模和系列得到复现，揭示出使用探针进行机制理解或安全监控的一个根本性失败模式。