CrossHallu：大语言模型内部幻觉信号能否跨语言和领域泛化？

# 大型语言模型内部幻觉信号能否跨语言和跨领域泛化？  
来源：https://arxiv.org/html/2607.04029  
Malak Alkhorasani²，Hamzah Luqman¹  
法赫德国王石油矿产大学，伊玛目阿卜杜勒拉赫曼·本·费萨尔大学  

###### 摘要  
近期大型语言模型（LLM）中的幻觉检测技术侧重于直接从模型内部表示中提取特征，并训练分类器来检测幻觉，已展现出令人鼓舞的结果。尽管如此，大多数基于内部状态的幻觉检测方法主要针对英语进行探索，这引发了一个问题：这些内部信号是否能在不同语言和领域之间泛化。为弥补这一空白，我们提出了 CrossHallu——首个基于六个 LLM 的内部表示，评估生成式问答任务中幻觉检测的跨语言和跨领域泛化能力的研究。我们使用 TruthfulQA、其阿拉伯语翻译版本以及 HalluScore，进行系统的阿拉伯语↔英语双向评估。该评估涵盖了单语言训练与测试、跨语言迁移、跨领域迁移，以及跨语言与跨领域的联合迁移。结果表明，对于大多数模型，LLM 内部状态中的幻觉信号能够跨语言和领域迁移；跨语言性能高度依赖于特征空间中的类可分性和语言对齐程度；而阿拉伯语内部的跨领域迁移效果则取决于幻觉检测器训练和测试所使用的数据集。代码已公开，可在 https://github.com/aishaalansari57/CrossHal 获取。  
![[未标注图片]](https://arxiv.org/html/2607.04029v1/Figures/logo.png)  
CrossHallu：大型语言模型内部幻觉信号能否跨语言和跨领域泛化？  
Aisha Alansari¹，Malak Alkhorasani²，Hamzah Luqman¹  
法赫德国王石油矿产大学，伊玛目阿卜杜勒拉赫曼·本·费萨尔大学  

## 1 引言  
大型语言模型（LLM）在广泛的自然语言生成任务中取得了显著成功，在问答、摘要和机器翻译等基准测试中达到了最先进的性能（Li 等人，2024b）。尽管取得了这些进展，LLM 仍然容易出现幻觉，即模型自信地生成事实上不正确或缺乏依据的输出（Maynez 等人，2020；Ji 等人，2023；Huang 等人，2025b）。这一问题在金融、医学和法律等高风险领域尤为关键，因为幻觉信息可能导致有害决策、错误信息或信任丧失（Alansari and Luqman，2025b）。  

参见图注  
图 1：基于 LLM 内部表示的幻觉检测信号的跨语言迁移示意图。在源语言上训练好的幻觉检测器，在目标语言上进行评估，以考察幻觉信号在语言间的可迁移性。

LLM 幻觉检测的一个新兴方向是直接从模型内部表示中提取特征，利用激活值、注意力模式或隐藏状态作为真实性探针（Liu 等人，2025；Ogasa and Arase，2025）。这些检测方法基于一个假设：幻觉可能对应模型内部状态中可检测到的分布偏移或不确定性模式（Chuang 等人，2024）。近期研究表明，训练轻量级检测器从内部激活直接预测幻觉，通常优于基于概率或熵的表面级置信度启发式方法（Chuang 等人，2024；Shelmanov 等人，2025；Dasgupta 等人，2025；Samaga 等人，2026）。然而，尽管取得了这些进展，大多数基于内部状态的幻觉检测方法主要是在英语中进行研究，这留下了一个问题：这些内部信号是否能在不同语言和领域之间泛化。这是一个关键的空白，因为 LLM 越来越多地部署在多语言环境中，且不同语言的幻觉率差异显著，通常在低资源语言中更高（Islam 等人，2025；Alansari and Luqman，2025a）。  

推动跨语言内部状态分析的一个关键假设是：多语言模型在多种语言上联合训练，可能在网络的深层学习到与语言无关的表示。这一现象得到了跨语言迁移学习研究的支持，该研究表明多语言模型倾向于在不同语言中学习共享的语义表示，尤其是在深层，从而即使在语言距离较大的语言之间也能实现知识迁移（Riemenschneider and Frank，2025；Tashu 等人，2025）。如果与幻觉相关的信号存在于这些共享表示子空间中，那么有可能在一种语言上训练检测器，然后将其用于另一种语言。此外，还可以通过将低资源语言的内部状态与高资源语言的内部状态对齐，来增强低资源语言的检测能力。在本工作中，我们提出了 CrossHallu，据我们所知，这是首个基于六个 LLM 的内部表示，系统评估生成式问答中跨语言和跨领域幻觉检测泛化能力的研究。我们使用三个数据集进行了系统的阿拉伯语↔英语双向评估：TruthfulQA（Lin 等人，2022）、TruthfulQA 的阿拉伯语翻译版本以及 HalluScore（Alansari and Luqman，2026）。跨评估涵盖了单语言训练与测试、跨语言迁移（英语↔阿拉伯语）、阿拉伯语数据集间的跨领域迁移，以及跨语言与跨领域的联合迁移。图 1 展示了跨语言迁移的示意图，其中 MLP 在一种语言的 LLM 隐藏状态上训练，然后在另一种语言上评估。本研究的主要贡献总结如下：  

- •据我们所知，我们提出了首个评估基于六个 LLM 内部表示的幻觉信号在跨语言和跨领域间可迁移性的研究。  
- •我们提出了一个评估框架，考察从 LLM 内部表示中提取的幻觉信号在跨语言、跨领域以及跨语言与跨领域联合迁移设置下，如何在不同语言和数据集之间泛化。  
- •我们对幻觉相关的表示偏移在 Transformer 层和语言间的分布进行了详细分析。  
- •我们通过实证分析揭示了哪些 LLM 展现出可跨语言和跨领域迁移的幻觉信号，从而为内部幻觉表示的语言无关性提供了见解。  

## 2 相关工作  
近期研究表明，内部表示为幻觉检测提供了可靠且可泛化的信号（Du 等人，2024；Dasgupta 等人，2025；Binkowski 等人，2025；Samaga 等人，2026；Bazarova 等人，2025）。与此同时，先前工作已经表明，多语言 LLM 学习到部分共享的内部表示，这些表示支持跨语言迁移（Wang 等人，2024；Huang 等人，2025a）。然而，尽管具备这些能力，现有的幻觉检测方法主要集中于单语言设置，导致内部幻觉信号在语言之间的可迁移性尚未得到充分探索。这一空白引发了一个重要问题：从内部表示中提取的幻觉信号在跨语言和跨领域迁移时是否仍然可靠？为了回答这个问题，我们提出了 CrossHallu 框架，该系统性地评估了这些信号在单语言、跨语言（英语↔阿拉伯语）、跨领域（阿拉伯语数据集间）以及跨语言与跨领域联合设置下的一致性和可迁移性。关于幻觉检测、用于幻觉检测的内部表示分析以及跨语言表示对齐的详细综述，请参见附录 A。  

## 3 CrossHallu 方法  
我们扩展了 HalluShift（Dasgupta 等人，2025）的工作，以评估基于六个 LLM 内部表示进行生成式问答时幻觉检测的跨语言和跨领域泛化能力。HalluShift 的核心直觉是：当模型生成幻觉响应时，信息在其 Transformer 层中的流动动态表现出与基于事实的、有依据的生成可测量的不同模式。这些差异可以通过隐藏状态转换、注意力模式和 token 概率分布观察到。内部信号可以在单次推理过程中被动提取，无需增加额外计算成本。遵循 HalluShift 的思路，我们旨在评估这些偏移是否在不同语言和领域间保持一致。因此，我们的目标是实证评估内部幻觉信号的可迁移性，而非假设其不变性。  

如图 2 所示，我们在三个数据集上对六个 LLM 进行了评估：TruthfulQA（Lin 等人，2022）、翻译为阿拉伯语的 TruthfulQA 以及 HalluScore（Alansari and Luqman，2026）。我们进行了一系列实验，旨在系统性地分离语言偏移、领域偏移及其组合的影响。我们进行了三个单语言基线实验，其中训练和测试在相同的语言和数据集内进行（TruthfulQA EN、TruthfulQA AR 和 HalluScore）。在其他实验中，幻觉检测器在源设置的内部表示上训练，并在目标设置上评估，以衡量可迁移性。对于每个迁移场景，我们考虑了双向迁移（源→目标和目标→源）。因此，我们进行了两个跨语言实验，其中领域保持不变但语言改变（TruthfulQA EN↔TruthfulQA AR）。两个跨领域实验在语言保持不变但数据集改变的情况下进行（TruthfulQA AR↔HalluScore）。最后，两个跨语言且跨领域的实验同时改变了语言和领域，代表了最具挑战性的迁移设置（TruthfulQA EN↔HalluScore）。  

参见图注  
图 2：提出的用于评估 LLM 内部表示中幻觉信号跨语言和跨领域可迁移性的框架概览。

### 3.1 内部状态特征提取  
我们在单次推理过程中从 LLM 的内部表示中提取三组特征。设 LL 为 LLM 中 Transformer 层的总数，TT 为针对给定问题生成的 token 数量。对于每个生成的 token t∈{1,...,T}，我们同时从隐藏状态、注意力张量和输出 logits 中提取特征。  

#### 隐藏状态特征  
令 ht(l)∈Rd 表示 token t 在层 l 的隐藏状态，其中 d 是模型的隐藏维度。我们从第 2 层开始每间隔一层选择一层，得到索引集合 L={2,4,6,...,L}，共 |L|=L/2 个选中的层。对于每对连续的选中层 (li, li+1)，我们首先使用 softmax 将每个隐藏状态归一化为概率分布。然后计算相邻层表示之间的两种相似性度量：Wasserstein 距离和余弦相似度。Wasserstein 距离衡量相邻层隐藏状态之间的分布差异，而余弦相似度衡量连续层表示之间的几何对齐程度。这两种度量均在所有 |L|-1 对连续层对上计算，并对所有 T 个生成的 token 取平均。  

#### 注意力特征  
令 at(l)∈RH×S 表示 token t 在层 l 的注意力张量，其中 H 是注意力头数，S 是序列长度。我们从第 1 层开始每间隔一层选择一层，得到索引集合 A={1,3,5,...,L-1}。对注意力张量应用与隐藏状态特征相同的归一化、Wasserstein 距离和余弦相似度计算。这些张量与隐藏状态特征一样对 token 取平均，生成另一个长度为 L-2 的特征向量。  

#### Token 概率特征  
对于每个生成的 token t，我们对输出 logits zt∈RV（V 为词汇表大小）应用 Softmax，得到 token 概率分布。我们记录每一步的最大和最小词汇概率：pmax={p1max,...,pTmax} 和 pmin={p1min,...,pTmin}。这些值至关重要，因为它们反映了 LLM 在每个步骤的生成置信度。具体来说，ptmax 捕捉了 LLM 对其最可能的下一个 token 的最高置信度。高的 ptmax 表明模型对接下来要生成什么很确定，而序列中持续较低的 ptmax 则表明模型不确定或难以决定一个 token，这可能是幻觉的迹象。相反，ptmin 捕捉了在步骤 t 分配给词汇表中任何 token 的最低概率。当分布高度集中于少数 token 时，ptmin 会非常小；而当分布更加均匀时，表明整个词汇表上的不确定性更大，ptmin 会相对较大。从这两个序列中：pmax={p1max,...,pTmax} 和 pmin={p1min,...,pTmin}。