可读但不可控：医疗大语言模型幻觉的神经元层面证据

# 可读但不可控：医学大语言模型幻觉的神经元级证据  
来源：https://arxiv.org/html/2607.00158  
Vijay Vankadaru¹、Asha Matthews¹、Tanya Roosta∗,¹ 及 Peyman Passban¹  
加州大学伯克利分校信息学院，美国加利福尼亚州伯克利  
vankadaruvijay@ischool\.berkeley\.edu, passban\.peyman@gmail\.com  
本工作为独立完成，与作者雇主无关。所有观点与结论仅代表作者本人。

###### 摘要  

幻觉仍然是部署医学大语言模型的主要障碍之一。然而，即使能够检测到幻觉，其相关的内部表征是否可用于控制（而不仅仅是检测）仍不明确。通过在多个医学问答数据集上使用四个开源模型，我们证明了一个简单、精心设计的探针能够可靠地检测幻觉，在我们的案例中AUROC得分在0.77到0.86之间。我们进一步证明，这种信号是分布式的、冗余的，而非狭窄局部化的。在极小子集规模下，系统选择的神经元优于随机神经元；而数百个神经元的随机子集几乎能恢复完整信号，低维随机投影也能保留大部分检测性能。除了检测，我们测试了这种表征是否具有因果可操作性。在16个模型-数据集组合中，我们的结果揭示了可解码性与可控性之间的尖锐差距。使幻觉易于检测的相同内部结构并未转化为可靠的神经元级控制。这些发现表明，医学幻觉似乎在内激活中清晰可见，但通过操控与之最相关的神经元来纠正却并不容易。更广泛地说，我们的结果表明，缓解幻觉不仅仅是识别正确神经元的问题，并指出了表征所能揭示的与所能改变的之间的更深层次分离。

## 1 引言  

本文研究医学大语言模型中的事实性幻觉是否可以通过与幻觉相关的神经元的视角来理解。具体地，我们探究一种机制来检测可能有助于区分真实答案与幻觉答案的神经元。一旦选择了这些神经元，我们便可以用它们来分类大语言模型的内部模式和行为，并希望能干预其幻觉。为此，我们简单地测量每个神经元对其所在层输出的贡献。

测量这种贡献的一种常用技术是CETT（Zhang et al., 2024 (https://arxiv.org/html/2607.00158#bib.bib5)），它（几乎）等价于神经元的幅度，并显示神经元对模型生成标记的贡献大小。最接近的依赖CETT风格分析的论文是H-Neuron（Gao et al., 2025 (https://arxiv.org/html/2607.00158#bib.bib6)）。在那项工作中，作者识别了其贡献模式与幻觉答案强相关的神经元。在这方面，我们的工作遵循了类似的方向。然而，我们提出了一个更具体的问题：医学模型中与幻觉相关的激活仅仅是可检测的，还是也可以作为因果控制杠杆？通过这样做，我们超越了H-Neuron，并探究了因果控制的可能性。

H-Neuron表明，某些行为（如过度顺从）与一小部分重要神经元相关，并且当改变这些神经元时可以观察到因果效应。相比之下，本项目研究医学大语言模型中的事实性幻觉，发现信号分布在数百个神经元中。信号可以被检测到，但改变这些神经元并不一定会改变模型的幻觉行为。我们的实验结果试图剖析为什么会发生这种情况。随着我们提供更多技术细节，我们研究的问题与其他问题之间的进一步差异将变得更加清晰。

我们研究的一个关键发现是，从内部激活中可以清晰地检测到幻觉，但这种可检测性并没有转化为可靠的因果控制。这表明修复幻觉并不是一个简单的、基于任务的问题。Xu et al. (2024 (https://arxiv.org/html/2607.00158#bib.bib8)) 和 Matthews et al. (2026 (https://arxiv.org/html/2607.00158#bib.bib7)) 对此观点进行了全面讨论。主要解释是，这些模型中的幻觉是可读的（legible），这很有用，因为它至少可以告知用户，但尚未可操作。我们希望像我们这样的研究能揭示这个问题，并帮助该领域更快地走向解决方案。

我们的贡献有三方面：i）我们对医学专用大语言模型中的幻觉进行了机制感知的、基于神经元的研究。ii）我们表明幻觉表现为分布式的、低维度的信号。完整k扫描（详见后续章节）显示，数百个神经元的随机子集可以匹敌选定的子集，并且可以超越整个层。iii）我们还展示了检测与因果之间的明确解耦。幻觉信号对线性探针来说高度可检测，但在激活引导下却无法作为可靠的控制杠杆。

## 2 背景  

越来越多的研究表明，与幻觉和真实性相关的行为可以从大语言模型的内部激活中检测出来。SAPLMA (Azaria and Mitchell, 2023 (https://arxiv.org/html/2607.00158#bib.bib9)) 表明，隐藏状态探针可以预测模型生成的陈述是否真实。无监督方法如对比一致性搜索（CCS）(Burns et al., 2022 (https://arxiv.org/html/2607.00158#bib.bib10)) 和 HaloScope (Du et al., 2024 (https://arxiv.org/html/2607.00158#bib.bib11)) 表明，幻觉信号可以在不依赖人工标注样本的情况下从激活空间中恢复。其他方法，包括语义熵、SelfCheckGPT (Manakul et al., 2023 (https://arxiv.org/html/2607.00158#bib.bib12)) 和均值探针，从输出和/或内部状态估计不确定性、事实性或幻觉风险。

我们的工作聚焦于医学问答中的幻觉检测，并询问支持检测的特征是否也为干预提供了有效目标。如前一节所述，与我们最直接相关的工作是H-Neuron，它使用神经元排序和稀疏选择来识别与幻觉相关的神经元。它报告不到0.1%的前馈神经元可以预测幻觉行为，但其最强的因果结果涉及过度顺从而非事实性幻觉。Vaddi 和 Vaddi (2026 (https://arxiv.org/html/2607.00158#bib.bib21)) 最近的跨领域工作进一步表明，选定的幻觉神经元在领域间迁移效果差，这表明这些信号可能是分布式的、冗余的或领域依赖的。这也是我们观察到的。

这种区别很重要，因为探针（也称为幻觉检测模型）可以揭示信息被编码在表征中，但无法揭示模型是否实际使用该信息来生成输出。机械可解释性工作强调，因果主张需要干预，如激活修补或表征引导。相关的控制方法，包括推理时干预 (Li et al., 2023 (https://arxiv.org/html/2607.00158#bib.bib20)) 和对比激活添加 (Panickssery et al., 2023 (https://arxiv.org/html/2607.00158#bib.bib19))，表明修改激活方向可以引导高级行为。这些方法启发了我们的实验，但我们的结果表明，为检测而选择的与幻觉相关的神经元并不能可靠地提供有效的控制目标。这可能源于我们研究范围的性质。

医学幻觉尤其重要，因为流畅但错误的输出可能会在高风险的医疗环境中误导用户。因此，我们评估了医学问答风格的数据集，以测试内部幻觉信号在不同设置下是否稳定。外部缓解方法，包括检索增强生成 (Ayala and Bechard, 2024 (https://arxiv.org/html/2607.00158#bib.bib13))、GraphCheck (Chen et al., 2025 (https://arxiv.org/html/2607.00158#bib.bib14)) 和 MedReflect (Huang et al., 2025 (https://arxiv.org/html/2607.00158#bib.bib18))，分别通过证据检索、结构化事实核查和自我反思来改善事实基础。这些方法与内部激活方法互补，但它们不解释幻觉在模型内部产生的位置，也不解释是否可以直接控制。

总体而言，先前工作表明，与幻觉相关的信息通常存在于模型激活中，并且基于激活的方法有时可以引导模型行为。然而，检测与控制之间的关系仍未充分探索，尤其是在医学领域。我们表明医学幻觉是可靠可解码的，但信号是分布式的，神经元级目标并不比随机神经元干预更有意义。这些发现支持了这样的观点：对检测有用的特征未必足以用于控制，或者说干预或许应该在高于单个神经元的层面进行。

## 3 方法论  

### 3.1 检测机制  

我们比较来自正确生成和幻觉生成的激活，然后计算神经元贡献以衡量哪些神经元最重要。这些神经元级别的特征被送入一个探针（一个简单的分类器），以检测哪些神经元对幻觉最具预测性。为了计算贡献，我们测试了两种方法。我们使用raw值，即神经元的直接后激活值，具体是SwiGLU后激活（act_fn）。因此，在我们的设置中，`raw` = `act_fn(gate_proj(x))`，其中`gate_proj`提供MLP/前馈块内的门控信息，`x`指代输入。我们还使用`exact_cett`，即神经元对残差流的真实贡献，计算如下：

`exact_cett_j` = ||`act_fn(gate_proj(x))`_j · `up_proj(x)`_j|| ||W_down[:, j]||_2 / ||MLP(x)||_2

其中j索引单个MLP神经元，W_down[:, j]是对应于神经元j的下投影矩阵的列，||W_down[:, j]||_2衡量该神经元能多强地影响残差流，||MLP(x)||_2是整个MLP输出的范数，它归一化贡献，使得同一层内的神经元可以比较。我们的分析表明，raw和exact_cett在几乎所有地方的AUROC差异在0.003以内，这意味着exact_cett主要作为一个可比性和归一化选择，而不是提供有意义的检测增益。

为了确保我们有足够的信号来决定哪些神经元的因果贡献，在我们的设置中，我们实验了raw值、提取的cett激活、选择top-k神经元、随机k神经元，以及使用稀疏L1选择进行探针。对于top神经元选择，我们通过Mann-Whitney秩恒等式按单个判别AUROC对神经元进行排序：

score_j = max( (R_{1,j} - n_1(n_1+1)/2) / (n_1 n_0), 1 - (R_{1,j} - n_1(n_1+1)/2) / (n_1 n_0) )

其中j索引一个神经元，R_{1,j}是使用神经元j的激活值对幻觉样本的秩和，n_1是幻觉样本数，n_0是正确样本数。折叠得分max(AUC_j, 1-AUC_j) 将神经元视为有用的，无论它们对幻觉是更高还是更低。在这种设置中，top-k是那些在幻觉生成和正确生成之间具有最高单独分离度的k个神经元。作为一种补充的监督形式的选择，我们还对所有神经元拟合了一个L1正则化逻辑回归（liblinear求解器）。L1惩罚使得大多数系数恰好为零，因此探针选择了自己的稀疏子集，而它保留的神经元数量（其非零系数）提供了一个数据驱动的估计，表明实际需要多少个神经元。这反映了Gao et al. (2025 (https://arxiv.org/html/2607.00158#bib.bib6)) 中用于识别幻觉相关神经元的稀疏选择策略。

一旦提取了这些神经元信号，我们就从不同层查看模型内部，并询问一个简单的分类器是否能从模型的内部激活中判断答案是否幻觉。为了实现，我们在最佳层训练一个线性探针（使用训练批次上的后激活）。最佳层是识别幻觉最明显的层。换句话说，当最佳层连接到探针时，它提供最高的检测准确率。对于最佳模型，我们查看其Gen0信号，这意味着我们在提示被消耗后立即对其进行分析。

探针故意保持简单。它是一个普通的L2正则化逻辑回归（不是神经网络）。它是线性的，因此AUROC衡量了隐藏状态的线性可解码性。其输入是某一层的每个标记的MLP激活向量，具体来说，是最后一个提示标记（Gen0位置）的SwiGLU后激活。特征使用StandardScaler标准化（零均值和单位方差）后再进行拟合。其输出是单个标量P(幻觉)，用于二分类（幻觉 vs. 正确）。探针本身没有隐藏层。它是单个线性层加Sigmoid。我们在每个Transformer层独立拟合它，并报告最佳层。选定的层是每个模型在该层扫描上的argmax。表1 (https://arxiv.org/html/2607.00158#S3.T1) 显示了我们探针为每个模型找到的最佳层。关于模型的详细信息，请参见第4节 (https://arxiv.org/html/2607.00158#S4) 以及附录。

| 模型 | BioMistral-7B | Meditron-7B | PMC-LLaMA-7B | Llama-3.1-8B-Instruct |
|------|---------------|-------------|--------------|------------------------|
| 最佳层 | L17 | L14 | L10 | L15 |

表1：每个模型的最佳Gen0检测层。

使用简单探针很重要，因为它表明与幻觉相关的信息在激活空间中是线性可访问的，而不是高度复杂分类器的效果。我们分析的第一阶段询问是否可以从内部激活中检测到幻觉。

### 3.2 几何分析  

在分析的第二阶段，我们检查幻觉信号在模型内部的位置及其结构，目的是理解该现象的几何形状。我们比较top-k神经元与随机k神经元，以观察最看似的神经元是否真的特别，还是随机群体几乎同样有效。我们还通过重叠分析检查是否在不同标记位置选择了相同的神经元。如果重叠较低，则意味着确切的神经元身份随位置而变化。然后我们使用中心核对齐（CKA）来比较不同条件下的表征。对于每个模型，我们提取最佳层的每标记激活，并计算真实答案、幻觉答案和自采样（例如，通过温度生成的可接受替代答案）所对应的表征之间的CKA相似度。如果幻觉和真实答案的表征高度相似，则表明幻觉与事实信息共享激活空间的大部分结构。相反，如果它们不同，则表明存在分离。

我们使用的CKA定义是线性CKA，它对特征进行中心化，然后计算Hilbert-Schmidt独立性准则，并根据每个表征的Frobenius范数进行归一化。形式上，对于两个表征矩阵 X ∈ ℝ^{n×d_1} 和 Y ∈ ℝ^{n×d_2}，线性CKA定义为：

CKA(X, Y) =  ||Y^T K_X Y||_F^2 / (||X^T X||_F ||Y^T Y||_F)

其中K_X = X X^T 是中心化后的核矩阵。值在0和1之间，较高值表示表征空间之间的对齐更强。

我们还可视化激活分布，通过为幻觉和正确情况生成每个最佳层神经元的激活密度图。这些密度图提供了定性洞察，例如某些神经元是否为幻觉产生异常高或低的激活，或者分布是否重叠。我们认为，检测-控制差距的一部分可能来源于神经元激活模式的重叠，使得对单个神经元的干预难以改变生成的输出路径。

总而言之，几何分析旨在确定幻觉信号在激活空间中是紧凑的还是分散的，是集中在少数神经元还是广泛分布，以及这种结构是否支持干预。

### 3.3 因果控制  

在因果控制阶段，我们测试操纵与幻觉相关的神经元是否影响模型将生成幻觉答案的倾向。我们通过激活引导来做到这一点——即在选定的神经元上添加或缩放激活值。具体来说，我们识别与幻觉相关的神经元（使用之前描述的top-k选择标准），然后修改它们对于训练批次中负相关的方向。这类似于向幻觉方向添加正激活或负激活以鼓励正确行为。在我们的实验中，我们向选定的神经元注入一个比例因子——从原始激活中减去一个小常数乘以幻觉-正确分离方向。也就是说，给定一个尺度α，我们设置：

a'_j = a_j - α · μ_j

其中a_j是原始激活，μ_j是神经元j在幻觉样本和正确样本之间的均值差。在这个协议中，正α推动激活朝向通过探针观察到的“正确”方向（即改变神经元朝向正确的典型激活模式）。通常，我们测试多个α值（从0到2.0），以查看是否可以将结果导向正确方向。然而，如果该信号是虚假相关的或干预不够精确，那么修改激活将不会改变模型的行为。

然后，我们测量幻觉率如何随α变化。如果神经元是因果相关的，那么增加α应该降低幻觉率。如果神经元只是检测相关的而不是因果相关的，那么幻觉率可能保持不变，或者甚至增加（如果调整方向错误）。为了仔细量化效果，我们为每个α值生成多个答案，并计算幻觉答案的比例。我们也在输出标记的进程中测量困惑度（一个流畅性指标）。如果操纵导致语言模型崩溃（困惑度急剧上升），那么幻觉率的任何下降可能来自生成质量的普遍下降。因此，我们报告幻觉率和困惑度，以区分因果控制与一般的模型损坏。

我们的期望（基于对更广泛文献的了解）是，top-k神经元的干预可能比随机神经元的干预更有效，但给定我们医学数据集的复杂性，这种改善可能是边际性的，或者当信号分布广泛时，top-k神经元可能无法提供有效的控制。我们之后在实验部分展示结果。# 可读但不可控：医学大语言模型幻觉的神经元级证据
来源：https://arxiv.org/html/2607.00158
Vijay Vankadaru1, Asha Matthews1, Tanya Roosta∗,1& Peyman Passban 1 加州大学伯克利分校信息学院，美国加利福尼亚州伯克利 vankadaruvijay@ischool\.berkeley\.edu, passban\.peyman@gmail\.com
本工作为独立完成，与作者雇主无关。所有观点与结论仅代表作者本人。

###### 摘要

幻觉仍然是部署医学大语言模型的主要障碍之一。然而，即使能够检测到幻觉，其相关的内部表征是否可用于控制（而不仅仅是检测）仍不明确。通过在多个医学问答数据集上使用四个开源模型，我们证明了一个简单、精心设计的探针能够可靠地检测幻觉，在我们案例中AUROC得分在0.77到0.86之间。我们进一步证明，这种信号是分布式的、冗余的，而非狭窄局部化的。在极小子集规模下，系统选择的神经元优于随机神经元；而数百个神经元的随机子集几乎能恢复完整信号，低维随机投影也能保留大部分检测性能。除了检测，我们测试了这种表征是否具有因果可操作性。在16个模型-数据集组合中，我们的结果揭示了可解码性与可控性之间的尖锐差距。使幻觉易于检测的相同内部结构并未转化为可靠的神经元级控制。这些发现表明，医学幻觉似乎在内激活中清晰可见，但通过操控与之最相关的神经元来纠正却并不容易。更广泛地说，我们的结果表明，缓解幻觉不仅仅是识别正确神经元的问题，并指出了表征所能揭示的与所能改变的之间的更深层次分离。

## 1 引言

本文研究医学大语言模型中的事实性幻觉是否可以通过与幻觉相关的神经元的视角来理解。具体地，我们探究一种机制来检测可能有助于区分真实答案与幻觉答案的神经元。一旦选择了这些神经元，我们便可以用它们来分类大语言模型的内部模式和行为，并希望能干预其幻觉。为此，我们简单地测量每个神经元对其所在层输出的贡献。

测量这种贡献的一种常用技术是CETT（Zhang等人，2024 (https://arxiv.org/html/2607.00158#bib.bib5)），它（几乎）等价于神经元的幅度，并显示神经元对模型生成标记的贡献大小。最接近的依赖CETT风格分析的论文是H-Neuron（Gao等人，2025 (https://arxiv.org/html/2607.00158#bib.bib6)）。在那项工作中，作者识别了其贡献模式与幻觉答案强相关的神经元。在这方面，我们的工作遵循了类似的方向。然而，我们提出了一个更具体的问题：医学模型中与幻觉相关的激活仅仅是可检测的，还是也可以作为因果控制杠杆？通过这样做，我们超越了H-Neuron，并探究了因果控制的可能性。

H-Neuron表明，某些行为（如过度顺从）与一小部分重要神经元相关，并且当改变这些神经元时可以观察到因果效应。相比之下，本项目研究医学大语言模型中的事实性幻觉，发现信号分布在数百个神经元中。信号可以被检测到，但改变这些神经元并不一定会改变模型的幻觉行为。我们的实验结果试图剖析为什么会发生这种情况。随着我们提供更多技术细节，我们研究的问题与其他问题之间的进一步差异将变得更加清晰。

我们研究的一个关键发现是，从内部激活中可以清晰地检测到幻觉，但这种可检测性并没有转化为可靠的因果控制。这表明修复幻觉并不是一个简单的、基于任务的问题。Xu等人 (2024 (https://arxiv.org/html/2607.00158#bib.bib8)) 和 Matthews等人 (2026 (https://arxiv.org/html/2607.00158#bib.bib7)) 对此观点进行了全面讨论。主要解释是，这些模型中的幻觉是可读的（legible），这很有用，因为它至少可以告知用户，但尚未可操作。我们希望像我们这样的研究能揭示这个问题，并帮助该领域更快地走向解决方案。

我们的贡献有三方面：i）我们对医学专用大语言模型中的幻觉进行了机制感知的、基于神经元的研究。ii）我们表明幻觉表现为分布式的、低维度的信号。完整k扫描（详见后续章节）显示，数百个神经元的随机子集可以匹敌选定的子集，并且可以超越整个层。iii）我们还展示了检测与因果之间的明确解耦。幻觉信号对线性探针来说高度可检测，但在激活引导下却无法作为可靠的控制杠杆。

## 2 背景

越来越多的研究表明，与幻觉和真实性相关的行为可以从大语言模型的内部激活中检测出来。SAPLMA (Azaria and Mitchell, 2023 (https://arxiv.org/html/2607.00158#bib.bib9)) 表明，隐藏状态探针可以预测模型生成的陈述是否真实。无监督方法如对比一致性搜索（CCS）(Burns等人，2022 (https://arxiv.org/html/2607.00158#bib.bib10)) 和 HaloScope (Du等人，2024 (https://arxiv.org/html/2607.00158#bib.bib11)) 表明，幻觉信号可以在不依赖人工标注样本的情况下从激活空间中恢复。其他方法，包括语义熵、SelfCheckGPT (Manakul等人，2023 (https://arxiv.org/html/2607.00158#bib.bib12)) 和均值探针，从输出和/或内部状态估计不确定性、事实性或幻觉风险。

我们的工作聚焦于医学问答中的幻觉检测，并询问支持检测的特征是否也为干预提供了有效目标。如前一节所述，与我们最直接相关的工作是H-Neuron，它使用神经元排序和稀疏选择来识别与幻觉相关的神经元。它报告不到0.1%的前馈神经元可以预测幻觉行为，但其最强的因果结果涉及过度顺从而非事实性幻觉。Vaddi 和 Vaddi (2026 (https://arxiv.org/html/2607.00158#bib.bib21)) 最近的跨领域工作进一步表明，选定的幻觉神经元在领域间迁移效果差，这表明这些信号可能是分布式的、冗余的或领域依赖的。这也是我们观察到的。

这种区别很重要，因为探针（也称为幻觉检测模型）可以揭示信息被编码在表征中，但无法揭示模型是否实际使用该信息来生成输出。机械可解释性工作强调，因果主张需要干预，如激活修补或表征引导。相关的控制方法，包括推理时干预 (Li等人，2023 (https://arxiv.org/html/2607.00158#bib.bib20)) 和对比激活添加 (Panickssery等人，2023 (https://arxiv.org/html/2607.00158#bib.bib19))，表明修改激活方向可以引导高级行为。这些方法启发了我们的实验，但我们的结果表明，为检测而选择的与幻觉相关的神经元并不能可靠地提供有效的控制目标。这可能源于我们研究范围的性质。

医学幻觉尤其重要，因为流畅但错误的输出可能会在高风险的医疗环境中误导用户。因此，我们评估了医学问答风格的数据集，以测试内部幻觉信号在不同设置下是否稳定。外部缓解方法，包括检索增强生成 (Ayala and Bechard, 2024 (https://arxiv.org/html/2607.00158#bib.bib13))、GraphCheck (Chen等人，2025 (https://arxiv.org/html/2607.00158#bib.bib14)) 和 MedReflect (Huang等人，2025 (https://arxiv.org/html/2607.00158#bib.bib18))，分别通过证据检索、结构化事实核查和自我反思来改善事实基础。这些方法与内部激活方法互补，但它们不解释幻觉在模型内部产生的位置，也不解释是否可以直接控制。

总体而言，先前工作表明，与幻觉相关的信息通常存在于模型激活中，并且基于激活的方法有时可以引导模型行为。然而，检测与控制之间的关系仍未充分探索，尤其是在医学领域。我们表明医学幻觉是可靠可解码的，但信号是分布式的，神经元级目标并不比随机神经元干预更有意义。这些发现支持了这样的观点：对检测有用的特征未必足以用于控制，或者说干预或许应该在高于单个神经元的层面进行。

## 3 方法论

### 3.1 检测机制

我们比较来自正确生成和幻觉生成的激活，然后计算神经元贡献以衡量哪些神经元最重要。这些神经元级别的特征被送入一个探针（一个简单的分类器），以检测哪些神经元对幻觉最具预测性。为了计算贡献，我们测试了两种方法。我们使用raw值，即神经元的直接后激活值，具体是SwiGLU后激活（act_fn）。因此，在我们的设置中，`raw` = `act_fn(gate_proj(x))`，其中`gate_proj`提供MLP/前馈块内的门控信息，`x`指代输入。我们还使用`exact_cett`，即神经元对残差流的真实贡献，计算如下：

`exact_cett_j` = ||`act_fn(gate_proj(x))`_j · `up_proj(x)`_j|| ||W_down[:, j]||_2 / ||MLP(x)||_2

其中j索引单个MLP神经元，W_down[:, j]是对应于神经元j的下投影矩阵的列，||W_down[:, j]||_2衡量该神经元能多强地影响残差流，||MLP(x)||_2是整个MLP输出的范数，它归一化贡献，使得同一层内的神经元可以比较。我们的分析表明，raw和exact_cett在几乎所有地方的AUROC差异在0.003以内，这意味着exact_cett主要作为一个可比性和归一化选择，而不是提供有意义的检测增益。

为了确保我们有足够的信号来决定哪些神经元的因果贡献，在我们的设置中，我们实验了raw值、提取的cett激活、选择top-k神经元、随机k神经元，以及使用稀疏L1选择进行探针。对于top神经元选择，我们通过Mann-Whitney秩恒等式按单个判别AUROC对神经元进行排序：

score_j = max( (R_{1,j} - n_1(n_1+1)/2) / (n_1 n_0), 1 - (R_{1,j} - n_1(n_1+1)/2) / (n_1 n_0) )

其中j索引一个神经元，R_{1,j}是使用神经元j的激活值对幻觉样本的秩和，n_1是幻觉样本数，n_0是正确样本数。折叠得分max(AUC_j, 1-AUC_j) 将神经元视为有用的，无论它们对幻觉是更高还是更低。在这种设置中，top-k是那些在幻觉生成和正确生成之间具有最高单独分离度的k个神经元。作为一种补充的监督形式的选择，我们还对所有神经元拟合了一个L1正则化逻辑回归（liblinear求解器）。L1惩罚使得大多数系数恰好为零，因此探针选择了自己的稀疏子集，而它保留的神经元数量（其非零系数）提供了一个数据驱动的估计，表明实际需要多少个神经元。这反映了Gao等人 (2025 (https://arxiv.org/html/2607.00158#bib.bib6)) 中用于识别幻觉相关神经元的稀疏选择策略。

一旦提取了这些神经元信号，我们就从不同层查看模型内部，并询问一个简单的分类器是否能从模型的内部激活中判断答案是否幻觉。为了实现，我们在最佳层训练一个线性探针（使用训练批次上的后激活）。最佳层是识别幻觉最明显的层。换句话说，当最佳层连接到探针时，它提供最高的检测准确率。对于最佳模型，我们查看其Gen0信号，这意味着我们在提示被消耗后立即对其进行分析。

探针故意保持简单。它是一个普通的L2正则化逻辑回归（不是神经网络）。它是线性的，因此AUROC衡量了隐藏状态的线性可解码性。其输入是某一层的每个标记的MLP激活向量，具体来说，是最后一个提示标记（Gen0位置）的SwiGLU后激活。特征使用StandardScaler标准化（零均值和单位方差）后再进行拟合。其输出是单个标量P(幻觉)，用于二分类（幻觉 vs. 正确）。探针本身没有隐藏层。它是单个线性层加Sigmoid。我们在每个Transformer层独立拟合它，并报告最佳层。选定的层是每个模型在该层扫描上的argmax。表1 (https://arxiv.org/html/2607.00158#S3.T1) 显示了我们探针为每个模型找到的最佳层。关于模型的详细信息，请参见第4节 (https://arxiv.org/html/2607.00158#S4) 以及附录。

| 模型 | BioMistral-7B | Meditron-7B | PMC-LLaMA-7B | Llama-3.1-8B-Instruct |
|------|---------------|-------------|--------------|------------------------|
| 最佳层 | L17 | L14 | L10 | L15 |

表1：每个模型的最佳Gen0检测层。

使用简单探针很重要，因为它表明与幻觉相关的信息在激活空间中是线性可访问的，而不是高度复杂分类器的效果。我们分析的第一阶段询问是否可以从内部激活中检测到幻觉。

### 3.2 几何分析

在分析的第二阶段，我们检查幻觉信号在模型内部的位置及其结构，目的是理解该现象的几何形状。我们比较top-k神经元与随机k神经元，以观察最看似的神经元是否真的特别，还是随机群体几乎同样有效。我们还通过重叠分析检查是否在不同标记位置选择了相同的神经元。如果重叠较低，则意味着确切的神经元身份随位置而变化。然后我们使用中心核对齐（CKA）来比较不同条件下的表征。对于每个模型，我们提取最佳层的每标记激活，并计算真实答案、幻觉答案和自采样（例如，通过温度生成的可接受替代答案）所对应的表征之间的CKA相似度。如果幻觉和真实答案的表征高度相似，则表明幻觉与事实信息共享激活空间的大部分结构。相反，如果它们不同，则表明存在分离。

我们使用的CKA定义是线性CKA，它对特征进行中心化，然后计算Hilbert-Schmidt独立性准则，并根据每个表征的Frobenius范数进行归一化。形式上，对于两个表征矩阵 X ∈ ℝ^{n×d_1} 和 Y ∈ ℝ^{n×d_2}，线性CKA定义为：

CKA(X, Y) =  ||Y^T K_X Y||_F^2 / (||X^T X||_F ||Y^T Y||_F)

其中K_X = X X^T 是中心化后的核矩阵。值在0和1之间，较高值表示表征空间之间的对齐更强。

我们还可视化激活分布，通过为幻觉和正确情况生成每个最佳层神经元的激活密度图。这些密度图提供了定性洞察，例如某些神经元是否为幻觉产生异常高或低的激活，或者分布是否重叠。我们认为，检测-控制差距的一部分可能来源于神经元激活模式的重叠，使得对单个神经元的干预难以改变生成的输出路径。

总而言之，几何分析旨在确定幻觉信号在激活空间中是紧凑的还是分散的，是集中在少数神经元还是广泛分布，以及这种结构是否支持干预。

### 3.3 因果控制

在因果控制阶段，我们测试操纵与幻觉相关的神经元是否影响模型将生成幻觉答案的倾向。我们通过激活引导来做到这一点——即在选定的神经元上添加或缩放激活值。具体来说，我们识别与幻觉相关的神经元（使用之前描述的top-k选择标准），然后修改它们对于训练批次中负相关的方向。这类似于向幻觉方向添加正激活或负激活以鼓励正确行为。在我们的实验中，我们向选定的神经元注入一个比例因子——从原始激活中减去一个小常数乘以幻觉-正确分离方向。也就是说，给定一个尺度α，我们设置：

a'_j = a_j - α · μ_j

其中a_j是原始激活，μ_j是神经元j在幻觉样本和正确样本之间的均值差。在这个协议中，正α推动激活朝向通过探针观察到的“正确”方向（即改变神经元朝向正确的典型激活模式）。通常，我们测试多个α值（从0到2.0），以查看是否可以将结果导向正确方向。然而，如果该信号是虚假相关的或干预不够精确，那么修改激活将不会改变模型的行为。

然后，我们测量幻觉率如何随α变化。如果神经元是因果相关的，那么增加α应该降低幻觉率。如果神经元只是检测相关的而不是因果相关的，那么幻觉率可能保持不变，或者甚至增加（如果调整方向错误）。为了仔细量化效果，我们为每个α值生成多个答案，并计算幻觉答案的比例。我们也在输出标记的进程中测量困惑度（一个流畅性指标）。如果操纵导致语言模型崩溃（困惑度急剧上升），那么幻觉率的任何下降可能来自生成质量的普遍下降。因此，我们报告幻觉率和困惑度，以区分因果控制与一般的模型损坏。

我们的期望（基于对更广泛文献的了解）是，top-k神经元的干预可能比随机神经元的干预更有效，但给定我们医学数据集的复杂性，这种改善可能是边际性的，或者当信号分布广泛时，top-k神经元可能无法提供有效的控制。我们之后在实验部分展示结果。