无知的几何学：大型语言模型知道何时调整贝叶斯先验

# 无知的几何学：大语言模型何时调整贝叶斯先验
来源：https://arxiv.org/html/2609.02959

作者：
- 家俊宝（Jiajun Bao）[机构：康奈尔大学，美国]
- 一舟刘（Yizhou Liu）[机构：麻省理工学院，美国]
- 古尔比尔·阿罗拉（Gurbir Arora）[机构：康奈尔大学，美国]
- 尼古拉斯·布勒（Nicolas Boullé）[机构：伦敦帝国理工学院，英国]
- 拉斐尔·萨尔法蒂（Raphaël Sarfati）
- 克里斯托弗·J·厄尔斯（Christopher J. Earls）[机构：Goodfire AI，美国]
通讯作者：[[email protected]](mailto:[email protected])

###### 摘要
当语言模型缺乏线索时，它预测什么？答案潜藏在其反嵌入几何结构中：反嵌入矩阵的一个单一方向编码了训练语料的单字分布（unigram distribution），这成为模型在不确定时回退使用的贝叶斯先验。这一结构——我们称之为*无知方向*——出现在我们所研究的全部四个模型家族（Llama、Qwen、Gemma和Pythia）中，参数量从0.4B到405B不等。将最终预测状态投影到该方向上，可得到一个每词元*先验加载因子*λ（lambda）。从经验上看，随着上下文信息量的增加，该因子会稳步下降。从形式上看，相同的投影将预测状态分解为两个正交向量，它们恰好对应于一个带温度的贝叶斯更新中的两个因子：一个被提升至λ次方的单字先验，以及一个由上下文驱动的似然。这种几何-概率解释对λ进行了校准，使其在不同模型规模和家族间具有可比性。通常，较大的模型在高上下文极限下表现出较低的先验依赖性。最后，我们证明了无知方向是因果活跃的：在最终预测状态中提高或降低λ，会使预测在KL散度上向单字先验靠拢或远离。

## 1 引言
参见标题
图1：无知方向概述。
(a) Llama-3.2-3B反嵌入的前两个主成分可视化。当按频率着色时（冷色→暖色 = 罕见→常见），词元在空间上呈现梯度分布。逗号和句号等标点符号频率最高，其次是冠词。黑色箭头标记了先验方向\(d_{\text{prior}}\)，指向频率增加最快的方向（见第3.3节）。
(b) 随着上下文变得模糊，下一词元预测逐渐与\(d_{\text{prior}}\)对齐。所有提示共享固定格式“[上下文]，我们可以找到...”，仅在空间限定词上有所不同，按信息量从最多到最少排序。对于每个提示，\(\boldsymbol{y}_{\text{output}}\)是最后一个词元的前softmax潜在向量，乘以反嵌入矩阵后产生下一词元的logits。公式2中的先验加载因子\(\lambda\)随着上下文信息量减少、模型回退使用先验而增大。标签显示了从Llama-3.2-3B计算出的真实值；几何结构为示意图（彩色箭头不按比例）。
语言模型必须始终进行预测。无论输入是逻辑论证、混乱的涂鸦，还是任务的示例（Brown等，2020；Xie等，2022），模型都需要预测词汇表上的下一词元分布——有些预测容易，有些则困难（Su等，2024）。例如，要求一个大语言模型命名一个法国的兴趣点，与要求它命名一个巴黎的兴趣点相比，提供的信息较少，因此缩小合理续写的范围也较小，如图1(b)所示。这提出了一个基本问题：当上下文提供的信息很少时，语言模型预测什么？

一个合理的策略是回退使用贝叶斯先验——例如，根据训练语料中的原始词频预测每个词元。虽然大语言模型对单字先验的倾向性已有充分记录（Chang和Bergen，2022；Meister等，2023；Xie等，2022），但支配这一行为的机制仍是一个开放问题（Stolfo等，2024）。

在本文中，我们展示了大语言模型通过最简单的几何结构实现并控制着单字先验：通过输出嵌入空间中的一个单一方向。我们称此方向为*无知方向*，\(d_{\text{prior}} \in \mathbb{R}^{d_{\text{model}}}\)，其中\(d_{\text{model}}\)是隐藏维度；图1(a)说明了其几何结构。记\(W \in \mathbb{R}^{|\mathcal{V}| \times d_{\text{model}}}\)为反嵌入矩阵，\(p_{\text{unigram}}\)为训练语料的经验单字分布，将\(d_{\text{prior}}\)乘以\(W\)即可恢复先验：\(\operatorname{softmax}\left(\boldsymbol{W}\boldsymbol{d}_{\text{prior}}\right) \approx p_{\text{unigram}}\)。 (1)

由于先验存在于单一方向上，任何最终预测状态\(\boldsymbol{y}\)——\(W\)将其映射为下一词元logits的向量——都可以分解为一个先验分量和一个正交补：
\(\boldsymbol{y}=\lambda\,\boldsymbol{d}_{\text{prior}}+\boldsymbol{y}_{\text{context}},\qquad\boldsymbol{y}_{\text{context}}\perp\boldsymbol{d}_{\text{prior}}\)。 (2)

标量\(\lambda\)是*先验加载因子*，我们在第3节中严格推导：它衡量当前预测对\(d_{\text{prior}}\)的依赖程度。如图1(b)所示，当上下文信息丰富时，\(\lambda\)较小，\(\boldsymbol{y}\)指向远离先验方向。相反，当上下文变得模糊——例如提示模糊、词元打乱或上下文长度短——\(\lambda\)增大，预测\(\boldsymbol{y}\)向\(d_{\text{prior}}\)旋转。

第3节表明，这种分解引出了预测分布的带温度贝叶斯解读，其中\(\lambda\)是单字先验的指数。我们所有的发现最终都是关于这一数量的陈述，我们的贡献有四个方面：

(1) **存在性、唯一性和普适性**（第3节）。
在我们所研究的每一个模型家族——Llama、Qwen、Gemma和Pythia中，嵌入空间中的一个单一方向\(d_{\text{prior}}\)能够以低KL散度重建单字先验。恢复此方向仅需对反嵌入矩阵进行一次线性最小二乘拟合，无需对模型进行任何一次前向传播。由最小二乘算法的构造可知，恢复的\(d_{\text{prior}}\)是唯一的。我们进一步证明，\(d_{\text{prior}}\)在初始化时不存在，仅通过训练才出现。

(2) **带温度的贝叶斯解释**（第3节）。
沿\(d_{\text{prior}}\)分解预测，将输出分解为带温度的贝叶斯推断：单字先验提升至\(\lambda\)次方，乘以由上下文驱动的似然。先验加载因子\(\lambda\)在\(0<\lambda<1\)时软化先验，在\(\lambda>1\)时锐化先验，在\(\lambda=0\)时移除先验，在\(\lambda<0\)时反转先验。这种几何-概率联系使我们能够有意义地比较不同模型规模和家族间的\(\lambda\)。

(3) **上下文动态**（第4节）。
我们证明，\(\lambda\)仅在连贯的上下文信息累积时下降，而在输入词元被打乱或无信息时保持高位。换言之，先验加载因子跟踪的是上下文中的信息量，而非其长度或位置。

(4) **因果干预**（第5节）。
通过手动干预\(\lambda\)可以引导输出朝向或远离无知状态，而沿随机方向的幅度匹配扰动则无效。因此，方向\(d_{\text{prior}}\)是因果活跃的，而不仅仅是一个统计相关项。

除了这些结果，我们还观察到一个有启示性的缩放趋势（第6节）：在我们测试的模型家族中，高上下文极限下的\(\lambda\)通常随模型隐藏维度的增加而下降。我们推测了这一趋势的起源，这有待进一步研究。

## 2 相关工作

##### 大语言模型中的嵌入几何
频率分离在嵌入空间中已被观察到：似然训练将词元嵌入推入一个狭窄的频率梯度锥（Gao等，2019），上下文表示表现出强烈的各向异性（Ethayarajh，2019），且词嵌入的主成分与频率梯度一致（Mu和Viswanath，2018）。然而，这些早期工作将词元频率结构视为需要消除的缺陷——即*表示退化*问题。更接近反嵌入的工作是Cho等人（2025）发现了一小部分与*平均输出*概率强烈相关的坐标，通过对语料规模的前向传播进行分析恢复。我们则使用一种无需前向传播的方法，挖掘出编码单字统计的线性结构，并证明该线性结构服务于一个明确的统计功能：实现一个可调的单字先验。

##### 大语言模型内部的自动置信度调节
一系列机制性工作揭示了单个神经元，大语言模型通过这些神经元调节自身预测的置信度，包括调制输出分布锐度的*熵神经元*（Katz和Belinkov，2023；Gurnee等，2024）。与我们关注点最接近的是Stolfo等人（2024）报告的*词频神经元*：其激活会改变输出分布使其朝向或远离单字分布的MLP单元。然而，我们的工作揭示，单字先验实际上是编码在反嵌入矩阵的一个*方向*中。因此，词频神经元只是这一深层结构的表面体现——一个神经元、一个注意力头或一个外部干预，恰好在它写入\(d_{\text{prior}}\)的程度上调节先验依赖性。我们在附录G中阐明了这种方向性描述如何统一并涵盖频率神经元。无知方向也比任何调节置信度的神经元都容易识别得多：我们无需搜寻和消融数以万计的MLP单元，而是在反嵌入矩阵上求解一个线性最小二乘问题——一个具有闭式解的凸回归，仅需权重矩阵和语料统计数据，无需对模型进行任何一次前向传播。

##### 大语言模型作为贝叶斯学习者
另一类互补的工作观察到，语言模型表现得像贝叶斯学习者，默认使用简单的统计先验。在训练早期，模型在获得更高阶统计量之前根据单字频率进行预测（Chang和Bergen，2022），生成模型在几百次更新内就内化了语料的单字分布（Meister等，2023）；在推理时，以条件上下文可被框架为隐式的贝叶斯后验推断（Xie等，2022）。这些描述建立了*行为*——训练不佳或信息不足的模型会回退使用先验——但并未提出先验被编码和表达的机制。事实上，Meister等人（2023）指出，在标准训练过程中，最终层的偏置几乎没有变化，因此频率信息必须编码在参数的其他地方。我们精确地描绘了这一机制回路：它是一个带有上下文依赖加载因子\(\lambda\)的单一反嵌入方向\(d_{\text{prior}}\)，并从数学上将其与带温度的贝叶斯框架（Holmes和Walker，2017；Bhattacharya等，2019）联系起来。相关的解码时文献则朝着相反方向发展：通过从模型预测中*减去*先验统计量来抑制高频词元的预测——通过反语言模型目标（Li等，2016）、反专家（Liu等，2021）、与较弱模型的对比解码（Li等，2023）、潜在状态干预（Zhang等，2025），或者简单地除以答案字符串的先验概率（Holtzman等，2021）。这种特设的抑制已被经验性地证明可以促进生成多样性和准确性。在我们的框架中，这类先验抑制仅对应于负的先验加载因子\(\lambda<0\)，我们发现某些模型，如Llama-3.1-70B，已学会在上下文丰富的场景中自动执行这种先验抑制（第6节）。我们在附录A中讨论了关于预测头偏置、引导、训练动态、频率效应和知识冲突的额外背景。

## 3 无知方向 \(d_{\text{prior}}\)

### 3.1 符号与设置
我们使用加粗小写字母（例如\(\boldsymbol{y}\)）表示向量，加粗大写字母（例如\(\boldsymbol{W}\)）表示矩阵。我们研究词表为\(\mathcal{V}\)、隐藏维度为\(d_{\text{model}}\)的仅解码器语言模型。反嵌入矩阵\(W \in \mathbb{R}^{|\mathcal{V}| \times d_{\text{model}}}\)将隐藏状态映射为logits：记\(\boldsymbol{y}_{\text{pred}} \in \mathbb{R}^{d_{\text{model}}}\)为给定位置的最终预测状态——在最终LayerNorm / RMSNorm之后、反嵌入之前的最后一层残差流——则下一词元分布为\(\operatorname{softmax}\left(\boldsymbol{W}\boldsymbol{y}_{\text{pred}}\right)\)。

### 3.2 从语料估计单字分布
为了估计单字分布，我们从无版权的Pile镜像（monology/pile-uncopyrighted on Hugging Face；Gao等，2020）流式处理文本，使用每个模型的分词器进行分词，并统计每个词元\(w\)的出现次数。由于BPE词表包含估计不佳的长尾词元（Sennrich等，2016；Land和Bartolo，2024），我们将分析限制在\(\mathcal{V}_c\)，即\(c|\mathcal{V}|\)个最频繁的词元。流式处理持续进行，直到观察到至少\(c|\mathcal{V}|\)个不同的词元。