透过镜子：直接读写Transformer

# 透过窥镜：直接读写Transformer
来源：https://arxiv.org/html/2609.10210
作者：Mark Oskin
所属机构：华盛顿大学计算机科学与工程学院教授
邮箱：[email protected]
2026年9月

###### 摘要
一个Transformer中究竟有多少组件共同决定一个Token？按照标准方式统计——基于前馈单元和注意力通道对logit值的绝对贡献量——单次预测会依赖3千到20万个组件。但贡献量具有符号性，在本文分析的18个模型中，推离预测Token的中间值质量是支撑预测质量的7倍。若改为按净贡献量计算，相同预测、相同归因方法只需数十个组件。在本文构建的基准模型上，53个组件承载了90%的预测量；删除13个关键组件将导致预测失败，而随机删除相同数量则无影响；仅需保留8个组件即可在保持其他位置归零时完整生成预测。

在12个第三方训练的模型中（参数规模从1.24亿到70亿），最小充分集仅需2个组件，最多需16个组件。追溯预测所依赖的全部路径，最终只涉及模型参数的1%~3%，该比例不随模型规模增长而扩大。模型其余部分既非闲置，也非为后续Token保留工作区：每一层向残差流添加的内容中，75%是固定线性变换的状态传递，与其具体预测内容无关。

本文所有分析均直接从模型自身的参数和激活值中提取，无需额外训练或拟合。每个组件都具备双向可识别性：组件的输出通过其驱动的预测行为来命名，覆盖近半数模型预测场景，命名依据是删除该组件导致的预测成本占比；组件的输入则从其自身权重矩阵中解码，在所属层的空间内评估时，对前8大输入源的识别准确率达58.9%（随机概率的37倍），且该一致性仅存在于列表头部。对剩余输入的追溯显示，若按提供组件分类，其呈现为词嵌入无法捕捉的语法范畴。

组件可被操作干预。模型未建立的关联可被注入单个备用单元，键值对均直接从权重提取无需拟合，这将目标排名从第578位提升至第11位，仅造成0.25%的留失损失——相比文献中达到前十名的一阶更新成本，效率提高40倍。写入位置由架构决定：第二层前的写入方向仅保留10%至输出层，而最后三分之一的层可保留高达80%。通过安装注意力头标记Token、并在两层之上安装读取单元，可使编辑仅在该Token先前出现的上下文中生效。模型自训练单元的驱动源来自两层之上，86%的效果通过该单元传递。将激活函数替换为保序函数后，单元输入可读性达仪器极限（列表内保持平稳而非衰减），但代价是安装操作需分解为两部分编辑。

## 1 引言
Transformer生成Token时，具体发生了什么？是否存在可识别的、对特定预测至关重要的模型部分，并能将其追溯为"用于该特定Token的电路"？

答案是肯定的，且该电路规模极小。任何单次预测仅需少量组件（少则数个，多则数十个）即可完成。Transformer在某位置计算的大部分内容，实则是架构产生的副产品——数据在层间流动及自身几何结构的维持。这与文献预期大相径庭。

在Transformer实际采用的基底空间（前馈单元和注意力通道）中，现有研究记录单个行为需数千至数万个组件[33]。本文采用通用计量方式得出类似结果：按标准度量，下文模型中单次预测需依赖3千至20万个组件。如此庞大的数字既无解释力，且存在根本性错误。

对logit的贡献具有符号性，会相互抵消。在本文分析的模型中，推离预测Token的质量中位数是净质量的7倍，在基准模型上甚至达20倍。标准计数方式使用绝对值总和，错误地将对抗质量计入答案。若改用净质量度量，相同预测、相同归因将返回数十个组件。对抗质量并非净质量掩盖的对立电路。

模型直接将预测写入Token表征空间，而非在别处组装后激活；该空间也不被用作临时缓存[41]。因此净贡献即模型输出，其余部分为残差流在层间传递时的维护工作，以支持多模块共享[17]。我们的分析视角能将这种维护功能与预测任务分离，剩余部分便成为简明可读的电路。

本文关注Transformer的可读性与可编辑性。具体含义如下：

- •**组件可读性**：若组件功能可被陈述则具可读性。需明确两件事：驱动因素与产出结果。两者命名需满足：**一致性**——驱动该组件的Token共享某特征，其促进的Token亦然；**验证性**——需依据模型行为而非列表合理性判断。组件功能由权重与激活时机共同决定，仅查看权重列时只能将答案范围缩小至词汇表的七分之一（附录C.11）。行为验证方法为：组件驱动的预测揭示其输出内容，激活位置揭示其输入来源。当无Token覆盖答案时，仍可通过所属电路描述组件。

- •**模型可读性**：若组件间连接可被追踪则具可读性。生成Token时必须存在产生*该特定*Token的决策痕迹，且该痕迹能向阅读者解释选择原因。路径需端到端可追溯，最终落足于连接输入与输出的Token嵌入空间（即使中间过程涉及概念性传递）。理想情况下痕迹应足够简洁以供人类阅读，但必须完整包含实际决定Token的所有要素。

- •**组件可编辑性**：若行为可被修改、模型尊重修改、且无关部分不受影响则具可编辑性。向指定命名组件注入目标行为，测量模型采纳强度，同时评估其他变化。两者单独皆无意义：任何编辑若强制足够强力都会被采纳，若温和则无影响。因此可编辑性是权衡而非阈值。

本文方法的核心是基于Transformer自身参数推导的分析视角，无需额外训练或拟合。现有拟合解释器效果良好：如在模型激活值上训练的稀疏自编码器可提取人类可命名的特征，我们在附录C中复现了此结果。之所以未基于此构建，是因为拟合解释器本身构成第二个模型，理解它成为理解目标Transformer的前提。在基准模型上，该视角对单次预测提供三个关键数字：53个组件承载90%预测量；13个组件不可或缺（删除将改变答案，而随机删除相同数量无影响）；仅需8个组件即可生成预测——保持这8个组件在特定位置的值，将其他所有前馈单元和注意力通道置零，模型仍输出相同Token。随机选择8个组件无法达到此效果，在115个测试预测中均失败。

模型其余部分既非闲置也非为后续Token保留资源。仅保留特定位置的电路时，预测Token的损失成本仅为同等规模随机集成本的四分之一，且对后续512个Token两者成本相同。其余组件实际在管理工作区：每层向残差流添加的内容中，75%是固定线性变换（无论模型将输出什么都会应用该变换），该工作分散在所有组件中而非集中于少数。

组件接收端的抵消效应远比输出端严重：约12个上游组件提供单元90%的符号化驱动量（按绝对值计则达数千），而输出端比例约为20。本文大量工作致力于弥合组件发现与解读之间的鸿沟。

组件具备双向可识别性。输出端通过其驱动的预测命名（覆盖近半模型），命名依据是删除成本占比。输入端从自身权重解码（在本层空间而非词汇表中评估）：当询问单元前8大驱动源时，参数集以58.9%准确率还原真实源（随机概率的37倍），且一致性集中于列表头部。驱动单元的输入中约28%落于词嵌入聚集的语义范畴；剩余72%在词汇表中无名称，属于模型自主构建的概念，按提供源分类后呈现为词嵌入无法捕捉的语法范畴。

同一解读方法适用于注意力通道：值投影在其关注位置评估，而层内注意力读取与前馈读取的差值即该层传递的上下文信息量。

组件命名是问题一半，另一半是操作干预。模型未建立的关联可注入单个备用单元，键值对均从权重提取无需拟合，将目标排名从578位提升至11位，仅造成0.25%留失损失——相比文献中达到前十名的一阶更新成本，效率提高40倍。

此类写入的有效位置由架构决定：底层两层会擦除输入Token并将其暂存于Token轴外，因此此处的写入方向在输出层仅保留约10%。顶层在Token表征空间响应（即输出层读取且写入直接作用的空间），因此电路的末端跳跃需在该空间进行，而前期跳跃无需如此——尽管该层会消耗而非传递输出空间内容，是唯一一个方向性保留下降的位置。

中间层残差流以写入坐标传递内容，基准模型约使用四分之一宽度且各深度相同，因此随机方向能从已安装组件向另一组件传递信号（模型中无其他结构被定向读取此信号）。这足以构建跨两层的新组件电路，或从两层之上驱动模型自训练单元（86%效果通过该单元传递）。

## 2 解读预测：窥镜
本节构建解读Transformer所需的工具。首先介绍本文所有测量使用的基准模型，以及后续章节涉及的扩展模型。接着引入分析视角，展示如何识别为预测执行实际工作的模型组件。随后探讨哪些组件是正确预测的*必要*条件，哪些是充分条件，以及当关键组件集承载答案时其余模型的功能。最后讨论该视角的局限性。

### 2.1 模型
基准模型基于GPT-2小型架构[45]训练：12层宽度d=768，12个注意力头，学习型位置嵌入，层归一化，输入输出嵌入共享，无偏置项。上下文长度设为T=2048（而非原版的1024），原版GPT-2将作为第6节模型之一单独分析。

记进入第l层的残差流为x(l)，则：
x(l+1) = x(l) + Attn(l)(LN(x(l))) + FFN(l)(LN(h(l)))

（注：原公式中部分符号在翻译中保留原格式）