方向性幻觉：基于新闻的LLM问答中的意识形态漂移

# 方向性幻觉：新闻语境下的大语言模型问答中的意识形态漂移
来源：https://arxiv.org/html/2607.20487
Liam CunninghamTom YishayJieying Chen 阿姆斯特丹自由大学 chendi\.wang@vu\.nl, l\.e\.cunningham@student\.vu\.nl, t\.yishay3@student\.vu\.nl, j\.y\.chen@vu\.nl

###### 摘要

大语言模型\(LLMs\)越来越多地被用于回答政治信息相关的问题，包括在选举相关的信息环境中，事实错误和意识形态扭曲具有高风险。我们提出了一个可复现的测量框架，将幻觉——即文档基础问答中无根据的陈述——视为意识形态漂移的诊断信号。利用来自QBias的21,727篇经过专家标注的美国政治新闻文章（涵盖左、中、右来源），我们\(i\)生成每篇文章特定的问题，\(ii\)从三个开源权重模型和一个专有模型获取基于文档的答案，\(iii\)通过基于参考的对比检测句子级别的幻觉，\(iv\)使用微调后的立场分类器对幻觉句子的意识形态倾向进行分类，以及\(v\)分析输出logits，将token级别的不确定性与幻觉和漂移联系起来。不同模型的幻觉率差异显著，且集中在有争议的话题上，而来源意识形态在幻觉频率上的差异则较小。相比之下，幻觉内容表现出稳健的左向漂移：大多数被幻觉的句子被归类为左倾，包括从右倾来源生成的幻觉。Logit级别的分析显示，幻觉出现在高熵的生成语境中，并且在某些模型中，不确定性还能预测左向漂移，这与“不确定性→猜测”机制一致。我们讨论了这些发现对于审计AI中介政治信息以及为选举相关部署设计安全措施的意义。

## 1 社会问题与现实世界影响

**社会问题。** 随着大语言模型被整合到搜索、聊天助手和新闻界面中，它们越来越多地中介了政治信息的获取。在公民和选举语境中，幻觉或意识形态偏斜的答案可能误导选民，扭曲议题重要性，并侵蚀对机构和平台的信任[Weidinger等人, 2021 (https://arxiv.org/html/2607.20487#bib.bib103)]；[Bender等人, 2021 (https://arxiv.org/html/2607.20487#bib.bib104)]；[Allcott and Gentzkow, 2017 (https://arxiv.org/html/2607.20487#bib.bib57)]；[Vosoughi等人, 2018 (https://arxiv.org/html/2607.20487#bib.bib58)]。最近的证据表明，对话式AI在受控环境中可以具有政治说服力[Hackenburg等人, 2025 (https://arxiv.org/html/2607.20487#bib.bib65)]；[Lin等人, 2025 (https://arxiv.org/html/2607.20487#bib.bib62)]；[Hackenburg and Margetts, 2024 (https://arxiv.org/html/2607.20487#bib.bib69)]，这引发了对AI系统生成错误或意识形态偏斜的主张时下游效应的担忧。

**现实世界影响。** 我们的成果是一个可审计、与模型无关的评估工作流，平台和公共机构可用其对用于公民信息的大语言模型部署进行压力测试。该流水线产出：\(i\) 按来源意识形态和话题分类的幻觉发生率，\(ii\) 带有不确定性区间的方向性漂移指标，以及\(iii\) 与不确定性相关的风险指标，可用于制定弃权或警告政策（例如，“当不确定性超过阈值时不回答”）[Kalai等人, 2025 (https://arxiv.org/html/2607.20487#bib.bib105)]。

## 2 引言

大语言模型越来越多地被部署为政治和公民信息的界面，通常是在*有依据*（grounded）的设置中，即系统被要求使用提供的文档（例如新闻文章）或检索到的来源来回答问题。即使在这样的设置中，模型也会产生幻觉，即看似自信且连贯但无根据的陈述[Huang等人, 2025 (https://arxiv.org/html/2607.20487#bib.bib64)]；[Ji等人, 2024 (https://arxiv.org/html/2607.20487#bib.bib92)]；[Kalai等人, 2025 (https://arxiv.org/html/2607.20487#bib.bib105)]。此外，越来越多的文献记录了大语言模型输出中的政治偏见和价值观错位，通常显示出随话题和评估设计变化的系统性偏斜[Rettenberger等人, 2025 (https://arxiv.org/html/2607.20487#bib.bib27)]；[Bang等人, 2024 (https://arxiv.org/html/2607.20487#bib.bib86)]；[Chen等人, 2026 (https://arxiv.org/html/2607.20487#bib.bib89)]；[Navigli等人, 2023 (https://arxiv.org/html/2607.20487#bib.bib91)]；[Motoki等人, 2025 (https://arxiv.org/html/2607.20487#bib.bib23)]；[Gallegos等人, 2024 (https://arxiv.org/html/2607.20487#bib.bib87)]。

**核心问题。** 当这两种失败模式相交时会发生什么？当大语言模型失去依据并开始“填补”缺失信息时，产生的幻觉内容是否在意识形态上是*有方向性的*？如果是这样，那将意味着幻觉不仅仅是可靠性失败，也是*暴露偏见的揭示性事件*，暴露出潜在的先验知识。

**为什么这关乎社会利益。** 在公民语境（例如选举信息获取）中，一个产生幻觉的大语言模型可能在底层来源意识形态对立或中立的情况下，仍引入意识形态偏斜的错误信息，从而破坏公平、信任和知情决策[Weidinger等人, 2021 (https://arxiv.org/html/2607.20487#bib.bib103)]；[Bender等人, 2021 (https://arxiv.org/html/2607.20487#bib.bib104)]；[Allcott and Gentzkow, 2017 (https://arxiv.org/html/2607.20487#bib.bib57)]。

**贡献。** 我们的贡献有四个方面：

- •**测量框架：** 一个透明、可复现的流水线，用于审计新闻基础问答中幻觉内容的*意识形态方向性*。
- •**实证发现：** 幻觉率因模型而异，左倾来源的幻觉率略高，但幻觉内容即使在右倾来源也表现出稳健的左向漂移。
- •**话题风险分析：** 漂移和幻觉脆弱性在争议性话题上被放大（包括选举相关问题）。
- •**机制证据：** Logit级别的不确定性信号可预测幻觉事件；不确定性分析有助于区分“猜测”与基于条件的生成，并阐明漂移是由不确定性还是先验知识驱动。

## 3 相关工作

#### 语言模型中的政治偏见。

多种方法量化了大语言模型中的政治偏见，包括意识形态测试、政策问卷以及与人类民意分布的对比[Bang等人, 2024 (https://arxiv.org/html/2607.20487#bib.bib86)]；[Santurkar等人, 2023 (https://arxiv.org/html/2607.20487#bib.bib31)]；[Motoki等人, 2025 (https://arxiv.org/html/2607.20487#bib.bib23)]；[Rozado, 2025 (https://arxiv.org/html/2607.20487#bib.bib29)]。偏见并非单一不变：它随话题和评估协议而变化[Motoki等人, 2025 (https://arxiv.org/html/2607.20487#bib.bib23)]；[Navigli等人, 2023 (https://arxiv.org/html/2607.20487#bib.bib91)]；[Gallegos等人, 2024 (https://arxiv.org/html/2607.20487#bib.bib87)]。这些发现激励在*实际任务*中进行偏见审计，而不仅限于基于提示的调查问卷。

#### 幻觉与有依据的生成。

问答和摘要中的幻觉已被广泛记录[Huang等人, 2025 (https://arxiv.org/html/2607.20487#bib.bib64)]；[Ji等人, 2024 (https://arxiv.org/html/2607.20487#bib.bib92)]；[Zhang等人, 2023 (https://arxiv.org/html/2607.20487#bib.bib38)]。近期研究认为，幻觉部分源于训练和评估更倾向于猜测而非弃权[Kalai等人, 2025 (https://arxiv.org/html/2607.20487#bib.bib105)]。检测方法包括人工评估、蕴含评分和学习型标注器[Gu等人, 2024 (https://arxiv.org/html/2607.20487#bib.bib93)]。我们的工作使用基于参考的幻觉检测器来识别有依据问答输出中无根据的句子。

#### 不确定性与弃权。

神经网络模型中的置信度估计常常校准不当[Guo等人, 2017 (https://arxiv.org/html/2607.20487#bib.bib106)]。当不确定性高时，选择性预测和弃权策略可减轻危害[Geifman and El-Yaniv, 2017 (https://arxiv.org/html/2607.20487#bib.bib107)]。在大语言模型语境中，logit导出的指标（熵、边际）提供了可解释的不确定性信号，这些信号可与幻觉风险联系起来[Kalai等人, 2025 (https://arxiv.org/html/2607.20487#bib.bib105)]；[Jiang等人, 2021 (https://arxiv.org/html/2607.20487#bib.bib108)]。

#### 民主、选举与对话式AI。

AI系统可以影响政治态度和说服动态[Hackenburg等人, 2025 (https://arxiv.org/html/2607.20487#bib.bib65)]；[Lin等人, 2025 (https://arxiv.org/html/2607.20487#bib.bib62)]；[Bai等人, 2025 (https://arxiv.org/html/2607.20487#bib.bib66)]。这些结果凸显了不仅审计公开说服，更要审计通过幻觉化公民和政治信息产生的*错误信息路径*的重要性。这个问题具有重大的社会影响。如果幻觉系统性地将政治偏见注入新闻基础问答中，那些假定AI中立的用户可能会在不知情的情况下消费意识形态偏斜的错误信息。此类内容可能强化信息茧房[Cinelli等人, 2025 (https://arxiv.org/html/2607.20487#bib.bib9)]，扭曲公众认知，并侵蚀对AI系统及其所传达信息的信任，考虑到大语言模型在搜索和内容审核中日益增长的作用，这一点尤其令人担忧[Noels等人, 2025 (https://arxiv.org/html/2607.20487#bib.bib41)]。问题还因幻觉内容通常流畅且自信而加剧，使用户难以将虚构的主张与准确总结的信息区分开。

## 4 数据与任务

#### 数据集。

我们使用QBias语料库[Haak and Schaer, 2023 (https://arxiv.org/html/2607.20487#bib.bib14)]，该语料包含21,747篇美国政治新闻文章，收集自AllSides平衡新闻头条汇总（2012年6月至2022年11月），并由专家标注为*左倾*、*中立*或*右倾*。经过清洗（去重、移除缺失文本）后，最终集合包含N=21727篇文章，数量为：左倾=10261，右倾=7214，中立=4252。我们保留了QBias提供的话题标签（例如选举、移民、枪支管控），以便进行话题级别的风险分析。这种不平衡反映了党派来源的基本分布，在我们的分析中通过归一化来处理。时间范围（2012–2022）涵盖了研究政治话语特别相关的时期，包括三届总统任期、多个选举周期，以及“假新闻”成为突出问题的时间点。

#### 任务：新闻基础问答。

我们评估*有依据问答*（grounded QA）而非通用摘要，以减少自由度：每个模型必须仅使用提供的文章作为证据来回答问题。对于每篇文章：

1. 1\.问题生成：生成一个单一的中性问题，捕捉文章的核心主张。
2. 2\.有依据的回答：仅使用文章内容，以句子形式提供简短答案。

这创造了一个受控的设置，在此设置中句子级别的幻觉检测是明确可定义的。

## 5 方法

图1 (https://arxiv.org/html/2607.20487#S5.F1)展示了我们方法论的端到端流水线，从问题生成到幻觉分析和意识形态评估。

图注图 1：流水线概览：(1) 问题生成，(2) 新闻基础答案生成，(3) 句子级别幻觉检测，(4) 幻觉句子的意识形态分类（二值左/右），(5) 基于logits的不确定性探测。### 5.1 模型与生成

我们评估三个经过指令微调的开源大语言模型和一个专有大语言模型：Llama 3 8B Instruct、Mistral 7B v0.3 Instruct、Deepseek 7B Chat 和 GPT-4o-Mini。对于每篇文章，我们使用Llama 3生成一个单一的中性问题，然后让四个模型中的每一个使用完整文章作为上下文来回答相同的问题（附录：提示和采样参数）。为每篇文章使用单一共享问题确保了跨模型的可比性，并减轻了问题与内容的混杂效应。我们将每个模型的答案分割成句子；所有幻觉和意识形态分析均在句子级别进行。

### 5.2 幻觉检测（句子级别）

我们应用ANAH-v2[Gu等人, 2024 (https://arxiv.org/html/2607.20487#bib.bib93)]来比较每个答案句子与相应的源文章，并分配三个标签之一：ok（有支持）、unverifiable（无支持）、或contradictory（与文章矛盾）。在后续所有分析中，我们将unverifiable和contradictory合并为一个幻觉指示器。我们在句子级别定义一个二值幻觉指示器H∈\{0,1\}为

H = I( l ∈ {unverifiable, contradictory} ),

其中I(·)是指示函数，l表示ANAH-v2句子标签。

### 5.3 幻觉内容的意识形态分类

为了标注幻觉内容的意识形态，我们在QBias文章文本上微调DeBERTa-v3[He等人, 2021 (https://arxiv.org/html/2607.20487#bib.bib40)]，用于二值左/右分类。我们采用二值设置，因为三元（左/中/右）分类在QBias上远不够可靠（F1=0.62 vs. 0.74），这会引入额外噪声并降低漂移估计的稳健性。因此，排除“中立”文章是一个由分类器可靠性驱动的方法学选择，而非对底层意识形态结构的假设。我们对较大的类别进行下采样，使得左倾和右倾训练集在每类N_min=min(N_left, N_right)篇文章上均衡（详见附录C.2 (https://arxiv.org/html/2607.20487#A3.SS2)）。得到的分类器在测试集上达到宏观F1=0.74。

我们将该分类器应用于幻觉句子，并将其输出解释为*幻觉内容意识形态*。由于分类器是二值的，所有方向性漂移分析（RQ2）限于：标记为左倾或右倾的源文章（排除中立），以及被分类为左倾或右倾的幻觉句子（二值输出）。尽管如此，我们在RQ1的幻觉率和话题风险分析中仍包含中立来源。

### 5.4 方向性漂移指标与假设检验

令s∈\{L,R\}表示源文章意识形态（仅限左/右用于漂移分析），ŷ∈\{L,R\}表示幻觉句子的预测意识形态。

我们报告以下指标：

- •一致性率。Pr(ŷ=s | halluciation, s∈\{L,R\})。
- •来自右倾来源的左向漂移。Pr(ŷ=L | hallucination, s=R)。
- •幻觉中左向比例总体。Pr(ŷ=L | hallucination, s∈\{L,R\})。

为了检验方向性，我们对Pr(ŷ=L)执行单侧二项检验，原假设p₀=0.5，并报告精确95%置信区间和Cohen's h效应量。

### 5.5 Logit级别不确定性探测（RQ3）

为了探究底层生成机制，我们在解码过程中提取最后一层token logits，并计算每个句子的不确定性度量。对于每个具有预测分布p(·)的token，我们计算标准熵H_t = -∑_v p(v) log p(v)，其中v遍及词汇表。我们报告两个句子级别的汇总：最大句子熵（maxEnt: max_{t∈句子} H_t）和平均句子熵（avgEnt: mean_{t∈句子} H_t）。此外，我们提取前两个logits之间的绝对差值，即边际置信度（margin confidence），这是二值决策难度的常用度量。这些logit级别信号使我们能够探究：(i) 幻觉是否发生在高熵、低边际的生成环境中，以及(ii) 当不确定性高时，生成的文本是否系统地偏向某一意识形态。这种连接提供了对“猜测”机制的操作性检验：如果模型对源文章事实不确定，它可能基于训练分布中统计上主导的联想进行回退——这些联想在编码过程中可能带有意识形态倾向。