使用分流解码的大语言模型幻觉检测

# 基于对抗解码的大语言模型幻觉检测研究
来源：https://arxiv.org/html/2607.10476
11institutetext:德克萨斯大学达拉斯分校，美国理查森，邮编75080
11email:\{basel\.abdeen,tahmid\.siddiqui,meah\.ahmed,lkhan\}@utdallas\.edu
22institutetext:美国国家标准与技术研究院，美国盖瑟斯堡
22email:anoop\.singhal@nist\.gov
33institutetext:卡内基梅隆大学，美国宾夕法尼亚州
33email:ehab@cmu\.edu
S M Tahmid Siddiquihttps://orcid.org/0009-0007-1931-0569
Meah Tahmeed Ahmedhttps://orcid.org/0009-0003-0972-1998
Anoop Singhalhttps://orcid.org/0000-0002-2602-3927
Latifur Khanhttps://orcid.org/0000-0002-9300-1576
Punya Parag Modihttps://orcid.org/0009-0008-1640-2596
Ehab Al\-Shaerhttps://orcid.org/0000-0002-7665-8293%0A

###### 摘要

大语言模型（LLMs）通过流畅的类人交互，已成为知识检索的强大工具。尽管具备先进的文本生成能力，但LLMs存在幻觉倾向，即生成事实性错误的陈述并编造知识，这削弱了其可靠性及可信度。多项研究探索了评估LLM不确定性和检测幻觉的方法。然而，现有方法通常基于概率且计算成本高昂，限制了其实用性。

本文提出一种新颖方法——对抗解码（diversion decoding），在解码阶段主动挑战模型生成的回答，从而形成LLM不确定性启发式度量。通过对抗解码，我们提取了反映LLM抵抗生成替代答案能力的特征，并利用这些特征训练机器学习模型，构建LLM不确定性的启发式度量指标。实验结果表明，对抗解码在显著降低计算复杂度的同时优于现有方法，成为评估幻觉检测的高效稳健方案。

## 1 引言

近年来，大语言模型（LLMs）展现出对自然语言的深刻理解及对世界知识的扎实掌握，吸引了全球关注，促使人们将其用于替代传统搜索引擎的知识检索[2 (https://arxiv.org/html/2607.10476#bib.bib11),11 (https://arxiv.org/html/2607.10476#bib.bib10),21 (https://arxiv.org/html/2607.10476#bib.bib9)]。尽管LLMs在各种任务中表现出色，但由于其易产生幻觉[12 (https://arxiv.org/html/2607.10476#bib.bib15),14 (https://arxiv.org/html/2607.10476#bib.bib8)]，作为信息来源的可靠性受到限制。幻觉是指模型对其知识不确定时编造事实、生成虚假信息的LLM行为。

多项研究尝试通过引入各种评分来构建LLM不确定性的启发式度量，以应对幻觉挑战[6 (https://arxiv.org/html/2607.10476#bib.bib24),9 (https://arxiv.org/html/2607.10476#bib.bib17),14 (https://arxiv.org/html/2607.10476#bib.bib8),18 (https://arxiv.org/html/2607.10476#bib.bib25)]。这些方法需要外部知识库、采用概率方法或计算复杂度高。与这些研究不同，本文提出一种确定性且计算高效的方法，仅需现有问答数据集即可量化LLM的置信度，无需任何外部组件。我们的方法受最新技术启发，利用LLM表现出的置信度与一致性之间的关系[6 (https://arxiv.org/html/2607.10476#bib.bib24),18 (https://arxiv.org/html/2607.10476#bib.bib25),23 (https://arxiv.org/html/2607.10476#bib.bib23)]。当LLM置信时，它倾向于生成语义相似但句法形式多样的正确答案；反之，当LLM缺乏置信时，通过不同解码路径会产生语义不同的答案。

与以往需要从LLM中多次采样答案的研究不同[6 (https://arxiv.org/html/2607.10476#bib.bib24),18 (https://arxiv.org/html/2607.10476#bib.bib25),23 (https://arxiv.org/html/2607.10476#bib.bib23)]，我们的对抗解码方法只需生成两个不同答案，步骤如下：首先，向LLM提出问题并获取贪婪答案；然后，再次提出相同问题，但当LLM生成与第一个答案语义相似的词时，我们引导其向不同答案生成。举个简单例子：我们问LLM“法国的首都是哪里？”，假设第一个贪婪答案是“巴黎”。接着我们再次提问，但每当LLM生成“巴黎”这个词时，我们拒绝该生成，选择下一个概率最高的可能词元。我们假设：当LLM置信时，它会持续尝试生成相同答案；否则，它容易被引向不同答案。我们在对抗解码过程中捕获了LLM行为的多种特征，并基于带标签数据集训练机器学习模型，将其作为LLM不确定性的代理度量。实验表明，对抗解码在检测幻觉方面表现稳健，且所需计算能力远低于现有最先进方法。

本文其余部分结构如下：第2节阐述方法动机；第3节定义问题陈述；第4节介绍提出的对抗解码方法；第5节讨论评估结果；第6节回顾相关工作；最后第7节给出结论，包括局限性和未来研究方向。

## 2 动机

大语言模型（LLMs）在个人和组织中广泛应用于翻译、摘要、聊天机器人和知识检索等任务，其复杂度从简单问答系统到高级客户助理代理不等。尽管LLMs应用广泛，但其可靠性和可信度仍存在重大担忧[17 (https://arxiv.org/html/2607.10476#bib.bib16)]。可靠性的主要挑战之一来自其幻觉倾向，即LLMs生成虚假或非事实信息。表1 (https://arxiv.org/html/2607.10476#S2.T1)展示了一个开放问答中LLM幻觉的示例。

在许多用例中，LLM驱动代理的错误决策可能导致重大财务损失或业务中断[17 (https://arxiv.org/html/2607.10476#bib.bib16)]。例如，LLMs正越来越多地被集成到自动化网络安全系统中，用于恶意软件检测、安全自动化和网络取证等任务[7 (https://arxiv.org/html/2607.10476#bib.bib12)]。这些系统中的幻觉可能导致不准确的威胁评估、误报警报或暴露漏洞的安全错误配置。LLM误将良性活动标记为恶意可能引发中断，而未能检测到真实攻击则可能使关键系统暴露于风险中。此外，在受监管环境中，如通用数据保护条例（GDPR）和健康保险便携性与责任法案（HIPAA）要求数据准确性和保密性的情形，LLM幻觉可能导致合规违规、法律纠纷和声誉损害[5 (https://arxiv.org/html/2607.10476#bib.bib14)]。

尽管人工智能专家不断努力提升对LLM幻觉风险的认识，但用户往往全盘接受LLM生成的输出，容易受到虚假信息影响[1 (https://arxiv.org/html/2607.10476#bib.bib20),12 (https://arxiv.org/html/2607.10476#bib.bib15)]。因此，检测和缓解幻觉仍是LLM集成到高风险应用中的关键挑战。有效的测量和识别幻觉方法对于确保LLM在网络安全、医疗和金融等领域的可靠性至关重要。检测机制越强大，LLM就越有把握被部署到关键决策系统中。

表 1：2023年Google发布的Bard推广推文中LLM幻觉示例[4 (https://arxiv.org/html/2607.10476#bib.bib3)]
## 3 问题陈述

本文通过量化LLM在回答事实性问题时的置信度来应对幻觉检测挑战。我们提出对抗解码（diversion decoding）这一新颖方法，通过故意引导LLM生成语义不同的替代回答，从而间接度量其对贪婪答案的置信度。我们将模型在偏离初始答案时表现出的抵抗程度作为不确定性的代理度量。为量化这种抵抗，我们在公开的事实问答对数据集上训练有监督机器学习模型，利用对抗解码提取的特征来预测生成的答案是真实的还是幻觉的。通过量化LLM的抵抗程度，我们的方法能可靠估计LLM的幻觉。与近期研究类似[6 (https://arxiv.org/html/2607.10476#bib.bib24),18 (https://arxiv.org/html/2607.10476#bib.bib25)]，本文旨在使用代理度量来衡量整个LLM生成答案的语义不确定性，而不仅仅是单个词元的不确定性。

我们的方法专注于事实性问题的开放问答任务。与自由回答不同，事实性问题要求单一、简洁的答案。该方法特别适用于开发开源LLM中不确定性的代理度量，因为可以获取输出词元概率。最后，我们采用有监督学习，在现有问答数据集上训练机器学习模型。该数据集在通过分析LLM行为模式来区分LLM生成正确答案与产生幻觉的实例中发挥关键作用。

## 4 方法

对抗解码通过首先生成贪婪答案，然后在解码过程中迫使模型偏离贪婪答案，从而形成对LLM回答问题不确定性的代理度量。这一过程测试了LLM对其初始回答的“坚持”程度，进而反映了其对答案的确定程度。

对抗解码包含三个关键组件：对抗解码器、语义相似性模块和不确定性评估模块。对抗解码器向LLM提出问题，获取贪婪答案，然后迫使模型生成第二个不同的回答。语义相似性模块检测LLM何时尝试复制贪婪答案，并提醒解码器引导生成偏离该回答。最后，不确定性评估模块根据LLM生成第二个答案的路径评估其不确定性。图3 (https://arxiv.org/html/2607.10476#S4.F3)展示了对抗解码流水线的高级概述。

图1 (https://arxiv.org/html/2607.10476#S4.F1)展示了针对问题“法国的首都是哪里？”的对抗解码过程。每当解码器生成“巴黎”时，相似性模块拒绝该响应，迫使解码器探索替代生成路径。由于这是一个LLM应该非常确信的简单问题，模型会持续尝试通过不同路径生成“巴黎”。相反，图2 (https://arxiv.org/html/2607.10476#S4.F2)展示了一个LLM轻易从贪婪答案（密西西比州）转向替代回答（犹他州）的案例。与第一个案例中LLM反复通过不同路径尝试生成相同答案不同，这里它很快就生成了完全不同的回答。

参见图注图 1：对LLM提问“法国的首都是哪里？”并获得贪婪答案“巴黎”时的对抗解码示例。LLM通过不同生成路径持续尝试生成答案“巴黎”，显示了对其答案的置信度。参见图注图 2：对LLM提问“美国禁酒令后最后一个重新引入酒精的州是哪个？”并获得贪婪答案“密西西比州”时的对抗解码示例。在相似性模块两次拒绝后，LLM将答案从密西西比州修改为犹他州，表明对其答案的置信度较低。算法 1 对抗解码器算法1:输入：大语言模型 LLM，问题

QQ，Top\-k 参数

kk，相似度阈值

δ\\delta
2:输出：贪婪答案

GG和不同答案

RR
3:用

QQ提示 LLM 并生成贪婪答案

GG
4:再次用

QQ提示 LLM
5:初始化

R←∅R\\leftarrow\\emptyset
6:当未达到响应结束词元时执行

7:指示 LLM 生成下一个词元的概率分布

8:选择概率最高的 top\-

kk个词元

9:对于 top\-

kk中的每个词元

tt执行

10:将

tt的贪婪词追加到

RR
11:获取

RR与

GG的相似度

12:如果相似度 <

δ\\delta则

13:将

tt的贪婪词追加到

RR
14:跳出循环

15:结束如果

16:结束循环

17:如果 top\-

kk中没有词元通过相似度检查则

18:终止响应生成

19:结束如果

20:结束循环

21:返回

GG和

RR

### 4.1 对抗解码

**LLM 解码背景**：LLM 一次一个词元地生成对提示的响应。给定输入文本后，它生成一个输出词元，将其附加到输入中，然后生成下一个词元。该过程持续到模型生成表示响应结束的特殊词元。每一步，LLM 都会在其预定义词汇表上生成概率分布。根据所选解码策略，模型从该分布中选择一个词元。在贪婪解码中，LLM 每一步选择概率最高的词元。在 top-k 解码中，模型从 k 个最可能词元中随机选择一个。在 top-p（核）解码中，LLM 从累积概率质量达到 p 的最小词元集合中采样一个词元。此外，采样温度会调整下一个可能词元的 Softmax 分布。较高温度使分布更平坦，增加随机性，使低概率词元更可能被选中；较低温度使分布更尖锐，将概率集中在最可能的词元上，从而产生更可预测和保守的输出。在对抗解码中，我们始终选择贪婪答案，这对应于 top-k 等于 1 或温度等于 0。

参见图注图 3：对抗解码流水线**对抗解码**：对抗解码器首先向 LLM 提出问题并生成贪婪答案。然后，它再次用相同问题提示 LLM，但通过以下方法强制生成不同的响应。解码器指示 LLM 生成下一个词元的概率分布，并选择概率最高的 top-k 个词元。然后，它尝试通过选择最可能词元来生成响应。如果相似性组件批准所选词元，解码器将其附加到提示中并继续生成下一个词元。此过程持续到达到响应结束词元。相反