标签
本文引入了'脆弱性'这一探测精度的补充指标，它衡量导致探测精度崩溃的激活噪声水平，从而能够在精度饱和后分析LLM预训练过程中的表示演化。
本文证明，基于LLM隐藏状态的线性探针检测到的是任务格式混淆因素（例如来源身份、回答长度），而非不同的推理模式。通过残差化和因果引导，表明高探针准确率源于表面特征，而非计算结构。