点间解读：解码填充标记中的隐藏计算

# 点与点之间的阅读：解码填充令牌中的隐藏计算
来源：https://arxiv.org/html/2607.03502

###### 摘要

前沿大语言模型（LLM）能够在像点号或计数序列这类无内容的填充令牌上进行多步推理，并给出正确答案，且没有可见的思维链（CoT）。这是行为监督的一个极限情况，因为表面令牌不携带任何关于底层推理的信息。但“在输出中隐藏”并不等同于“对我们隐藏”。在四个任务族（事实检索、并行数值组合、字符串操作和上下文计算）上，两个开放权重的前沿模型（DeepSeek V3、Kimi K2）以结构化、可解读的方式在填充令牌上进行计算：注意力将问题通过填充区域路由到答案；logit 透镜的读出结果显示，检索到的事实早期出现，并在后期层中组合成最终答案；而仅针对填充位置的 KV 缓存移植，可以在示例之间因果性地交换输出。我们引入了一种无监督解码管道，仅以隐藏状态为输入，在两个模型和所有四个任务上以 80–95% 的准确率（最佳 LLM 评判者）恢复中间值，无需真实标签或训练。在这些任务上，击败行为 CoT 监控的隐藏计算可以直接从残差流中读取，这表明可监控性是模型完整计算轨迹的一个属性，而不仅仅是其表面令牌的属性。

机器学习，ICML

## 1. 引言

思维链（CoT）的可监控性——即我们可以通过读取模型写出的内容来审计其推理过程——其可靠性仅与“这些输出能反映底层计算”这一假设相当。近期关于保留这一属性的呼吁（Korbak 等，2025 (https://arxiv.org/html/2607.03502#bib.bib18)）指出了一种普遍担忧：模型可能以 CoT 阅读无法捕捉的方式进行推理，无论是通过优化压力导致编码或混淆的 CoT，还是其他将可见令牌与底层计算解耦的机制。填充令牌计算（Lanham 等，2023 (https://arxiv.org/html/2607.03502#bib.bib1); Pfau 等，2024 (https://arxiv.org/html/2607.03502#bib.bib14)）——即 LLM 在像点号或计数序列这类无内容令牌上进行有意义的推理——是这种失败的一个具体案例：隐藏的推理无论如何都无法通过 CoT 阅读恢复，因为 CoT 中根本没有内容可读。这种担忧是真实的；行为 CoT 阅读确实会在填充令牌上失败。但行为监控并非唯一可用的审计工具，一种工具的失败并不意味着计算本身是不可审计的。“在输出中隐藏”并不等同于“对我们隐藏”。一个令牌对读者来说可能在语义上是空的，但在残差流中仍然携带丰富且可解码的结构。本文从实证角度论证了这一观点。我们研究了大型开放权重模型（DeepSeek V3，671B 参数，每个令牌约激活∼37B 参数；Kimi K2，1T 参数，每个令牌约激活∼32B 参数）在四个具有明确中间值的任务族上的表现：1-事实加法（“莫扎特去世的年龄加上93是多少？”）、2-事实加法（“钨的原子序数加上碳的原子序数是多少？”）、2-跳字母位置（“印度哈里亚纳邦首府名称的最后一个字母是什么？”）以及一个方程组（“若 ab=51；da=2ab-21；... 请问 3da-79 是多少？”），其中每一步中间值都是在上下文中计算而非检索的。在每个任务上，我们在问题和答案槽之间追加无内容的填充令牌（点号、计数序列、字母序列），并询问：模型在有填充时表现更好吗？如果是，我们能否恢复它在填充位置计算的内容？

参见图注
图 1：前沿规模 LLM 在无意义的填充令牌上进行可解码的隐藏多步推理。没有填充时，模型无法回答该问题（左）；在提示中追加填充后，模型成功回答（中）。我们的无监督管道能够从填充位置的残差流中解码出中间值（\(A_1=77\)，\(A_2=35\)）及其组合结果（112）（右）。

#### 贡献。
本文从建立现象出发，再到定位其机制，最后恢复其内容（图 1 (https://arxiv.org/html/2607.03502#S1.F1)）。每一步都依赖于前一步。我们做出三项贡献。

(1) **填充令牌上的隐藏计算是一个普遍现象。** 先前的工作记录了商业前沿模型在多跳问题上的填充提升（Greenblatt, 2025 (https://arxiv.org/html/2607.03502#bib.bib16), 2026 (https://arxiv.org/html/2607.03502#bib.bib17)）。我们表明，这一现象比之前记录的要广泛：开源模型 DeepSeek V3 和 Kimi K2 在 1-事实加法（DeepSeek V3 上从 54%→72%）、2-事实加法（DeepSeek V3 上从 21%→24%，其中 9% 的示例从错误变为正确；Kimi K2 上从 27%→35%）、2-跳字母位置（DeepSeek V3 上从 61%→70%；Kimi K2 上从 69%→75%）以及方程组（DeepSeek V3 上从 31%→61%；Kimi K2 上从 18%→36%）上都受益于填充令牌。不同类型的填充（点号、计数序列、字母序列）都能提供类似的提升，而打乱后的序列效果较差，这表明重要的是存在任何非破坏性的令牌序列，而不是任何特定的内容。

(2) **填充位置因果性地携带任务相关信息，并编码中间计算步骤。** 我们提供了三条证据。注意力分析显示，当存在填充时，模型会重新分配注意力，形成问题→填充→答案的处理中继，取代了答案直接指向问题的方式。填充位置的 logit 透镜读出揭示了填充区域编码的内容：跨任务和模型，计算的中间值出现在残差流中。在 2-事实加法中，\(A_1\) 在填充早期被强烈编码，\(A_2\) 在后期，而和 \(A_1 + A_2\) 则在紧邻答案前的后期层中结晶。仅针对填充令牌行的 KV 缓存移植进一步确立了这种内容的因果性：在匹配示例之间移植填充区域会将捐赠者的答案提升数十到数百个等级，无论是对于检索的事实还是上下文中计算的值；而仅移植某个加数被解码的位置则能恢复大部分效果，而互补位置几乎没有任何效果。因此，编码的位置结构本身对答案具有因果性。

(3) **一个无监督管道从填充隐藏状态中恢复中间值。** 我们在每个（层，填充位置）应用 logit 透镜，减去跨示例均值以去除伪影，跨位置聚合残差分数，并将前 50 个令牌交给 LLM 评判者进行解释。该管道不需要真实标签，也不需要训练。在最强 LLM 评判者下，它在两个模型和所有四个任务族上恢复了检索的事实、并行的数值中间值、字符串值中间值（元素名称和城市名称）以及上下文计算的值（方程组），准确率达到 80–95%。在两个模型和所有四个任务上，行为、机制和解码结果都表明，填充令牌携带真实计算，并且我们可以无需监督地从隐藏状态中恢复这些计算。代码和聚合解码输出可在 https://github.com/kaleybrauer/filler-token-reasoning 获取。

## 2. 相关工作

#### CoT 的忠实性与可监控性。
越来越多的文献表明，思维链痕迹可能无法反映驱动模型行为的因素。Turpin 等（2023 (https://arxiv.org/html/2607.03502#bib.bib2)）表明，模型会生成看似合理的 CoT，但忽略了注入到小样本示例中的偏差特征；Arcuchin 等（2025 (https://arxiv.org/html/2607.03502#bib.bib3)）将其扩展到没有人工偏差的真实提示，在比较问题上发现了隐式的后见合理化；Chen 等（2025 (https://arxiv.org/html/2607.03502#bib.bib13)）发现，即使是现代推理模型也常常无法表达其依赖的提示注入提示，在测试设置中揭示率通常低于 20%，但在其他设置中则显著更高。Baker 等（2025 (https://arxiv.org/html/2607.03502#bib.bib12)）从训练角度展示了相关动态：针对 CoT 监控器的强优化可能产生**混淆的**奖励黑客行为，即模型将其意图隐藏在监控器接受的 CoT 内部。另一方面，Emmons 等（2025 (https://arxiv.org/html/2607.03502#bib.bib11)）认为，对于 CoT 在**计算上必要**的任务，模型在没有显著帮助的情况下很难逃避监控，并提议将可监控性而非忠实性作为操作上相关的属性。Korbak 等（2025 (https://arxiv.org/html/2607.03502#bib.bib18)）将这些线索综合起来，呼吁将 CoT 可监控性作为一种脆弱的安全属性加以保护。填充令牌计算是这种属性的一个具体失败模式，因为推理的表面形式与计算完全无关。

#### 填充令牌与隐藏计算。
Lanham 等（2023 (https://arxiv.org/html/2607.03502#bib.bib1)）表明，在商业 LLM 中用填充句点替换 CoT 并没有带来好处，这表明现成的模型不会使用填充令牌。Pfau 等（2024 (https://arxiv.org/html/2607.03502#bib.bib14)）澄清这并非原则上的限制：小型 Transformer **可以**学习使用填充令牌，但需要任务特定的可并行 CoT 监督。Goyal 等（2024 (https://arxiv.org/html/2607.03502#bib.bib15)）发现，使用显式暂停令牌进行预训练能在基准测试中带来收益，而仅在微调时引入则会得到混合结果。Greenblatt（2025 (https://arxiv.org/html/2607.03502#bib.bib16), 2026 (https://arxiv.org/html/2607.03502#bib.bib17)）在前沿规模上推翻了这一观点：最近的 LLM（Gemini 2.5/3 Pro、Claude Opus 4/4.5）无需针对填充的训练，就能在多跳任务上受益于填充令牌，300 个计数令牌使 Gemini 3 Pro 的三跳准确率几乎翻倍（从 18%→34%）。填充位置在功能上不同于注意力汇点（Xiao 等，2024 (https://arxiv.org/html/2607.03502#bib.bib29)），后者吸收多余的 softmax 质量而非携带信息；我们的 KV 缓存移植（第 4 节 (https://arxiv.org/html/2607.03502#S4)）表明填充内容在因果上是示例特定的。我们的工作将填充令牌现象扩展到开放权重模型，并研究了在填充区域上计算的内容。

#### 潜在多跳推理。
另一条独立的工作线探究 Transformer 是否在内部组合事实而不写出中间值。Yang 等（2024 (https://arxiv.org/html/2607.03502#bib.bib23)）发现了强有力的证据，表明 LLM 在诸如“‘迷信’这首歌的歌手母亲是...”这样的提示上内部识别了中间的桥梁实体（例如 Stevie Wonder），尽管第二跳的证据较弱且因提示类型而异。Yang 等（2025 (https://arxiv.org/html/2607.03502#bib.bib10)）在捷径控制评估下扩展了这一发现，发现对于某些桥梁类型具有很高的潜在可组合性，而对其他类型则不然。Biran 等（2024 (https://arxiv.org/html/2607.03502#bib.bib24)）定位了其机制：在两跳查询中，桥梁实体在早期层被解析，第二跳在后期层，而后期到早期的隐藏状态补丁可以在之前不正确的情况下高达 66% 的情况下恢复正确答案。这些工作研究了没有填充令牌的潜在组合；我们研究的是当填充令牌作为额外计算的基底被插入时，会出现哪些额外结构。

#### Logit 透镜与残差流可解释性。
Logit 透镜（nostalgebraist, 2020 (https://arxiv.org/html/2607.03502#bib.bib19)）将中间残差状态通过模型的解嵌入投影，以在每个（层，位置）获得令牌分布。其变体和改进包括 tuned-lens（Belrose 等，2023 (https://arxiv.org/html/2607.03502#bib.bib20)）、future lens（Pal 等，2023 (https://arxiv.org/html/2607.03502#bib.bib30)）以及 patchscope 框架（Ghandeharioun 等，2024 (https://arxiv.org/html/2607.03502#bib.bib22)），后者通过将隐藏状态补丁到单独的提示中引出解释，从而推广了这一思路。我们的管道使用 logit 透镜来呈现候选令牌，但依赖跨示例残差减法来去除格式化噪声，并依赖 LLM 评判者进行解释。结果是一个解释步骤，它对中层 logit 透镜读出中的噪声具有鲁棒性，并且能够命名组合中间值（例如元素或城市名称），而不仅仅是单个令牌。

## 3. 填充令牌提升的行为学探索

我们首先确认填充令牌能提升开放权重模型在我们四个任务族上的表现。这些任务被构造为每个都有明确的中间值。我们用 \(A\) 表示单个检索的事实值（1-事实加法），用 \(A_1, A_2\) 表示 2-事实加法中两个检索的值，用 X 表示提示中提供的随机两位加数。我们旨在恢复的中间计算是：\(A\)（1-事实）、对 \(\{A_1, A_2\}\) 及其和 \(A_1 + A_2\)（2-事实）、或字符串值的检索实体如城市或元素名称（2-跳字母位置）。对于方程组，提示通过线性关系定义了几个变量，并询问其中一个变量的线性函数；通过链 \(x \to c_1 x \to y \to c_2 y \to \text{答案}\) 到达。

- •**1-事实加法。**“（事实 A）加上（随机两位 X）是多少？”
- •**2-事实加法。**“（元素 \(A_1\) 的原子序数）加上（元素 \(A_2\) 的原子序数）是多少？”
- •**2-跳字母位置。**“X 首府名称的第 N 个字母是什么？”（或“原子序数为 X 的化学元素的字母是什么？”）
- •**方程组。**“若 ab=51；ce=87；da=2ab-21；... 请问 3da-79 是多少？”几个无意义变量（包括干扰变量）通过早期变量的线性关系定义，每一步中间值都在上下文中计算而非检索。

我们评估了 DeepSeek V3 和 Kimi K2。对于每个任务，提示形式为 [问题] [填充] 答案：。我们改变填充类型（点号：“. . . . .”；计数：“1 2 3 4 5”；字母：“a b c d e”；以及打乱变体 c-scram、a-scram）并改变填充长度 \(k\)。我们使用 5 个本身包含填充的小样本示例。完整任务详情和示例提示见附录 A (https://arxiv.org/html/2607.03502#A1)。填充令牌数量 \(k\) 统计追加的点/数字/字母，而非模型令牌；不同填充类型的 tokenization 不同（例如，“5 ”是两个令牌，“. ”是一个）。

参见图注
图 2：填充令牌跨任务、模型和填充类型提升了准确率。提升通常随着填充长度快速增加，直到非常长的填充长度时达到渐近甚至下降。误差棒显示二项模型下的 \(\pm 1\) 标准误差（所有 \(k\) 值使用相同的固定测试集）。**左上**：DeepSeek V3 上的 1-事实加法（API；800 个示例）。所有填充类型都产生可比的提升，而打乱变体表现较差，表明填充必须是非破坏性的，但不需要任何特定内容。**右上**：DeepSeek 上的 2-事实加法