TokenScope: 面向大型语言模型中代码任务的词元级可解释性与可理解性

# TokenScope：面向大型语言模型代码生成任务的令牌级可解释性分析
来源：https://arxiv.org/html/2607.01235
\(2009年6月5日\)

###### 摘要。

理解大型语言模型（LLM）在代码生成过程中如何在令牌级别做出决策，对于研究者和实践者而言仍然是一项重大挑战。虽然近期出现的一些工具能提供关于模型内部或生成结果的见解，但它们通常缺乏解码时信号、细粒度的不确定性度量，以及用于探索替代生成路径的交互式机制。我们提出了TokenScope，一个面向解码器型LLM的交互式可解释性分析工具，能够在生成过程中展示令牌级度量、注意力模式以及结构信息。TokenScope支持交互式令牌替换、反事实分支，以及通过抽象语法树实现代码感知聚合。通过统一解码时信号与结构化程序分析，TokenScope能够系统性地研究LLM在代码生成中的行为。

大型语言模型，代码生成，可解释性，说明性，注意力分析，程序分析

††版权:acm许可††期刊年份:2018††DOI:XXXXXXX.XXXXXXX††会议:第34届ACM软件基础研讨会（FSE）配套论文集；2026年6月5日至9日；加拿大蒙特利尔††ISBN:978-1-4503-XXXX-X/2018/06††CCS:计算方法学 自然语言生成††CCS:计算方法学 信息抽取††CCS:计算方法学 词汇语义学††CCS:计算方法学 因果推理与诊断††CCS:软件及其工程

## 1. 引言

基于Transformer解码器的大型语言模型（LLMs）已成为现代软件工程工作流程的核心，支持代码生成、重构、测试合成和程序理解等任务（Chen, 2021；Li et al., 2022；Roziere et al., 2023）。尽管它们成效显著，这些模型仍然不透明：实践者和研究者往往无法解释模型*为什么*生成特定令牌，在生成的不同点上*有多*不确定，或者*哪些*替代方案曾被考虑但最终被舍弃。这种可解释性的缺失在代码生成中尤为棘手，因为微小的令牌级偏差可能级联导致语法错误、语义缺陷或不正确的API使用。

参考标题图1. TokenScope模块化架构概览。生成服务器暴露仅解码器型LLM，编排服务器协调生成、度量和分支，基于Web的前端应用程序提供解码时信号的交互式探索。

现有的可解释性工具提供对LLM行为的部分洞察，但存在重要空白。先前的工作主要侧重于数据集级分析、事后评估、内部表示检查或静态注意力可视化，通常需要离线分析和大量专业知识（Tenney et al., 2020；Nanda and Bloom, 2022；Cooney, 2023；Alammar, 2021；Clark et al., 2019）。这些方法很少暴露解码时的不确定性、替代令牌候选项或决策边界，并且它们通常将生成作为单一结果处理，而非一系列相互依赖的令牌级决策。因此，研究者缺乏必要的基础设施来研究不确定性在生成过程中出现的位置、注意力和概率质量如何随时间变化，以及局部决策如何传播为代码中的结构性错误。

为应对这些挑战，我们引入了TokenScope，一个面向解码器型LLM的交互式可解释性与分析环境，特别关注代码生成。TokenScope工具化了解码过程本身，捕捉每个生成步骤中细粒度的令牌级信号，包括置信度度量、边界置信度、熵、令牌意外度、替代候选项和注意力权重。这些信号被流式传输至交互式前端，以支持对令牌级决策的直接检查与比较。

TokenScope通过支持对LLM在代码生成过程中行为的交互式探索，服务于研究者和实践者。用户可以在生成的任意点应用修改，通过用替代候选项或自定义文本替换一个令牌，然后从修改后的前缀继续生成，从而快速探索反事实输出和失败模式。通过将解码时的不确定性和注意力信号与代码结构（通过抽象语法树AST分析）对齐，TokenScope帮助实践者诊断置信度下降的位置，识别生成代码中结构脆弱区域，并追踪局部令牌级决策如何传播到更高层次的程序行为中。这些能力共同提供了一个超越事后检查的实用环境，用于调试、审计和理解LLM生成的代码。

本文做出以下贡献：

- •我们引入了TokenScope，一个交互式工具，暴露基于Transformer的LLM在解码时的令牌级信号，特别关注代码生成；
- •我们提供了对令牌级不确定性度量、注意力显著性和反事实生成的交互式分支的集成支持；
- •我们通过将令牌级信号与AST实体在多个粒度级别对齐，实现了代码感知分析；
- •我们呈现了一个统一的环境，结合了可解释性、分析和用户驱动探索，弥补了现有工具侧重于事后分析或孤立内部信号的局限性。

## 2. 背景

已有多种工具被提出以改进基于Transformer模型的可解释性和说明性。我们简要回顾最相关的类别，并强调TokenScope的不同之处。

通用可解释性平台如LIT（Tenney et al., 2020）和Phoenix（Arize-ai, 2025）提供了用于数据集检查、模型比较和嵌入分析的接口。虽然对于数据集级别的评估和调试很有价值，但这些工具不暴露解码时的令牌概率、替代候选项或生成过程中的不确定性度量。

机制可解释性框架如TransformerLens（Nanda and Bloom, 2022）和稀疏自编码器方法（Cooney, 2023）使得能够详细检查注意力头、神经元和内部激活。这些方法提供了强大的分析能力，但通常需要离线分析和大量技术专长，并且并非为单个生成的交互式探索而设计。

可视化工具如Ecco（Alammar, 2021）和Attention Analysis（Clark et al., 2019）主要关注注意力权重。虽然有助于理解信息流，但仅凭注意力本身无法充分代表模型置信度或决策过程，并且这些工具没有整合不确定性度量或结构化的程序分析。

## 3. 系统概述

TokenScope是一个用于仅解码器型Transformer LLM的交互式可解释性分析系统，旨在在文本和代码生成过程中暴露细粒度的令牌级信号。该系统在解码时捕获内部模型统计数据，并通过交互式Web界面呈现，支持对生成轨迹的检查、比较和反事实探索。

TokenScope遵循模块化的三组件架构，通过自定义生成服务器实现对任意仅解码器型模型的支持，如图1所示。

- • (i) 生成服务器负责模型发现、加载和底层解码，通过最小化生成API暴露与Hugging Face兼容的仅解码器型模型。
- • (ii) 编排服务器通过生成服务器协调生成请求，管理用户会话、分支生成状态、度量计算与聚合，以及面向前端的API端点。
- • (iii) 基于Web的前端，使用React实现，提供交互式可视化和控制，用于探索模型行为。

生成过程增量进行并流式传输至前端。在每个解码步骤，TokenScope记录令牌概率、替代候选项、注意力权重以及导出的不确定性度量，将它们与生成的令牌关联起来，并使其可用于交互式可视化和分析（图2）。

参考标题图2. 由Qwen2.5 Coder 1.5B Base使用贪心生成在输入‘def sort(l):’时生成的输出。灰色表示提示，其他令牌颜色表示令牌级置信度得分，按红、橙、暗黄和黑色递增顺序。

## 4. 功能概述

TokenScope被设计为一个交互式环境，用于暴露和操作基于解码器的LLM的生成过程。本节概述其核心功能。

### 4.1. 生成模式与解码控制

TokenScope支持多种生成模式，包括贪心解码、温度控制采样、Top-k和核采样（Top-p）。这支持对解码策略如何影响代码生成的可靠性和多样性进行可控实验。

参考标题图3. 输出排序函数中每个令牌的置信度、边界置信度、熵、序列困惑度和意外度度量。X轴和Y轴分别代表令牌和度量值。

### 4.2. 解码时度量

在生成过程中，TokenScope记录令牌级统计信息，如概率、在候选中排名、令牌意外度、熵和边界置信度，以及序列级度量如序列困惑度。这些度量以颜色编码的令牌显示（图2）并在所有令牌上绘制（图3），并且可以跨区间或结构单元进行聚合。正式定义和公式见第5节。

参考标题图4. 输出排序函数中后续令牌对令牌‘l’（第七行第一个令牌）的注意力质量（按注意力头以及所有注意力头的平均值）。

### 4.3. 注意力分析

TokenScope在解码时暴露每个生成令牌与先前上下文之间的注意力权重。根据这些权重，注意力显著性衡量后续生成令牌对给定令牌的关注程度。这些信号可以在令牌级别按每个注意力头进行可视化（图4），或跨语法感知单元进行聚合，以分析代码生成中的长距离依赖。

参考标题

参考标题

图5. 左：输出排序函数中令牌‘return’的五个最佳替代令牌。右：原始输出（左叶节点）以及令牌‘return’被替换为‘print’后的替代分支。

### 4.4. 交互式分支与反事实生成

用户可以交互式地将任何生成的令牌替换为替代候选项（图5，左）或自定义输入，并从修改后的前缀继续生成。TokenScope维护一个分支结构，记录共享前缀和分歧的延续，从而支持对替代推理路径的系统性探索（图5，右）。

### 4.5. 代码感知结构分析

使用Tree-Sitter解析器，TokenScope将生成的令牌映射到AST节点，如表达式、语句和函数。令牌级度量和注意力信号可以跨这些结构进行聚合，从而允许在语义有意义的抽象层次分析不确定性和显著性。

## 5. 度量定义

本节定义TokenScope暴露的核心度量。令 \( p_t(v) \) 表示模型在生成步骤 \( t \) 时分配给令牌 \( v \) 的概率。

令牌概率与排名。生成令牌 \( y_t \) 的概率由下式给出：

我们称此概率为令牌的**置信度得分**。

令牌排名定义为当候选令牌按概率降序排列时 \( y_t \) 的位置。

**令牌意外度**。令牌意外度衡量生成令牌的意外程度：

\[
\text{Surprisal}(y_t) = -\log p_t(y_t)
\]

直观上，该度量衡量在给定前文上下文中生成令牌有多意外。

**边界置信度**。边界置信度捕捉最可能令牌与第二可能令牌之间的差异。该度量反映局部决策的果断性，而非绝对正确性。

**熵**。令牌级熵量化候选分布上的不确定性：

\[
H_t = -\sum_v p_t(v) \log p_t(v)
\]

**序列困惑度**。生成序列 \( y_{1:T} \) 上的序列困惑度定义为：

\[
\text{Perplexity} = \exp\left( \frac{1}{T-1} \sum_{t=2}^{T} -\log p_t(y_T) \right)
\]

该度量量化完整生成序列的平均不可预测性，值越低表明模型认为序列越可能。

**注意力质量**。对于生成的令牌 \( t_i \)，注意力质量定义为它从所有后续生成的令牌 \( t_j \)（其中 \( j > i \)）接收的平均注意力量。形式上，对于每个注意力头 \( h \)：

\[
AM_h(t_i) = \frac{1}{N-1} \sum_{j=i+1}^{N} A_h(j, i)
\]

其中 \( A_h(j, i) \) 表示在头 \( h \) 中从令牌 \( t_j \) 到令牌 \( t_i \) 的注意力权重。

直观上，注意力质量衡量一个令牌持续影响后续解码决策的程度。

## 6. 代码感知结构分析

在代码分析模式下，TokenScope 使用 Tree-Sitter 解析器将生成的令牌与 AST 实体对齐。

### 6.1. 令牌-实体对齐与聚合

LLM 令牌边界通常不与 AST 实体对齐，因为分词独立于语法解析。如果一个令牌完全包含在实体区间内，与实体起始重叠，或与实体结束重叠，则该 AST 实体被视为该 LLM 令牌的候选。

当单个令牌有多个候选实体时，TokenScope 分配具有最高预定义优先级的实体，这反映了语义重要性（例如，标识符优先于分隔符）。

### 6.2. 代码分析模式

为了支持在不同语义分辨率下进行分析，该工具提供了五种 AST 实体模式，每种模式定义了令牌级度量和注意力信号的不同聚合级别。

**令牌模式**代表最细粒度，每个生成的令牌被独立分析。此模式适用于检查特定词法位置上的局部不确定性、突然的概率下降或注意力转移。

**表达式模式**将令牌分组为语法单元（即表达式）。