权重稀疏Transformer中的单个参数具有可解释性

arXiv cs.LG 论文
mechanistic-interpretability weight-sparse-transformers interpretability llm-pipeline sparse-models

摘要

本文介绍了一种自动化的大语言模型流水线，用于生成并验证关于Transformer中单个权重何时起作用的、人类可读的描述。研究发现，在权重稀疏的Transformer中，12%至31%的权重在全局范围内具有可解释性，其表现优于稠密Transformer。

arXiv:2607.02964v1 公告类型：新 摘要：机械可解释性的核心目标之一是理解神经网络的工作方式以及每个独立组件的作用。主流的电路发现方法侧重于特定行为，并对组件在相关子分布上的作用进行逆向工程。然而，过去的研究表明，组件可以在输入分布的不同子集上激活不同功能。在这项工作中，我们探究是否可以通过刻画单个权重何时起作用（即移除该权重会改变模型预测的输入）来全局理解其在整个训练分布中的作用。我们引入了一种自动化的大语言模型流水线，该流水线会写出关于权重何时起作用的简短、人类可读的描述，并在保留文本上进行验证，仅当描述具有泛化能力时才将该权重视为可解释。在两种稀疏和两种稠密Transformer上的实验表明，稀疏Transformer中具有可解释性（在此意义上）的权重比例高于稠密Transformer，且在剔除不可靠描述后这一差距进一步扩大。我们的结果表明，稀疏Transformer模型中相当一部分权重是可解释的：12%至31%的权重拥有一个简短描述，能够指明该权重的用途。
查看原文
查看缓存全文

缓存时间: 2026/07/07 04:40 

# 权重稀疏Transformer中的单个参数似乎具有可解释性
来源：https://arxiv.org/abs/2607.02964
查看PDF (https://arxiv.org/pdf/2607.02964)

> 摘要：机械可解释性的一个核心目标是理解神经网络如何工作以及每个独立组件的作用。主流的电路发现方法专注于特定行为，并对相关子分布上的组件角色进行逆向工程。然而，过去的研究表明，组件可能具有不同的功能，这些功能在输入分布的不同子集上被激活。在这项工作中，我们探讨一个单个权重是否能在整个训练分布上被全局理解，通过描述它何时重要（即将其移除后会使模型预测发生变化的输入）。我们引入了一个自动化LLM流程，该流程生成一个简短、人类可读的描述，说明权重何时重要，并在保留文本上进行验证，仅当描述具有泛化性时才赋予权重可解释性。在两个稀疏和两个密集Transformer上，可解释权重（在此意义上）的比例在稀疏Transformer中高于密集Transformer，一旦排除不可靠的描述，这一差距会进一步扩大。我们的结果表明，稀疏Transformer模型中相当一部分权重是可以被解释的：12%到31%的权重具有单个简短描述，能够标识该权重的用途。

## 提交历史

来自：Arnau Marin-Llobet [查看电子邮件 (https://arxiv.org/show-email/bd7bb0a3/2607.02964)] **\[v1\]** 2026年7月3日 星期五 05:15:55 UTC (4,865 KB)

相似文章

从神经网络中定向恢复权重空间机制

arXiv cs.LG

本文提出Targeted Parameter Decomposition (tPD)方法，可针对特定输入选择性地从神经网络中恢复可解释的权重空间机制，相比全分解大幅降低计算需求。通过在玩具模型和Transformer语言模型上的验证，tPD能够忠实地恢复电路并进行手术级消融，且副作用极小。

贡献权重：自注意力Transformer的几何分析

arXiv cs.LG

介绍贡献权重（Contribution Weights），这是一种基于投影的度量，它考虑了注意力权重、值向量的幅度和方向对齐，从而更准确地衡量Transformer大语言模型中的token重要性，揭示了注意力阱（attention sinks）的主动功能角色。