HierBias：基于上下文条件的层次化媒体偏见检测与多任务类型分类

# HierBias: 基于上下文条件的层次化媒体偏见检测与多任务类型分类

来源：https://arxiv.org/html/2606.26100

###### 摘要

媒体偏见检测是确保信息传播公平与平衡的关键任务，然而现有的句子级方法独立分类每个句子，忽略了人工标注者自然利用的句子间上下文信号。我们提出 **HierBias**，一种层次化上下文条件媒体偏见检测器，在偏见预测中显式建模文档上下文。我们引入*上下文条件偏见概率*，并从理论上证明：当句子间互信息非零时，利用文档上下文严格降低了句子级分类的贝叶斯误差。一个多任务泛化界进一步表明，联合训练二值偏见检测与细粒度偏见类型分类能提高小标注语料库上的样本效率。在架构上，HierBias 将句子级 RoBERTa 编码器与跨句子 Transformer 聚合器以及用于二值检测和四类类型分类的双输出头配对。在 BABE 和 BASIL 上评估，HierBias 的 F1 达到 0.853，MCC 达到 0.723，在 F1 上超越当前最优偏见检测器 +2.6%，在 MCC 上超越 +4.3%（McNemar 检验，p<0.05）。消融实验证实每个理论成分独立且一致地贡献。

## 1 引言

新闻报道中的媒体偏见对知情公共讨论和民主决策构成重大挑战 (Spinde 等人, 2023 (https://arxiv.org/html/2606.26100#bib.bib8))。当记者使用情绪化语言、选择性框架或策略性信息省略时，读者对事件的理解可能被系统性扭曲 (Fan 等人, 2019 (https://arxiv.org/html/2606.26100#bib.bib16); Wessel 等人, 2023 (https://arxiv.org/html/2606.26100#bib.bib7))。因此，自动化媒体偏见检测已成为自然语言处理 (NLP) 的一个关键研究方向，其潜在应用从新闻编辑室质量控制到面向读者的透明度工具 (Wang 等人, 2025 (https://arxiv.org/html/2606.26100#bib.bib12))。

尽管取得了显著进展，现有的句子级偏见检测系统存在一个根本性局限：它们*独立地*分类每个句子，忽略了人工标注者自然利用的丰富句子间上下文信号。例如，一个仅描述事件的句子可能只有在文章*省略*其他内容的上下文中才带有信息性偏见 (Fan 等人, 2019 (https://arxiv.org/html/2606.26100#bib.bib16))。类似地，一个句子的框架可能因相邻句子的语气和词汇选择而被放大或抑制。最近的研究已证实，提供文档级上下文能持续提升多种模型家族的偏见检测性能 (Maab 等人, 2024 (https://arxiv.org/html/2606.26100#bib.bib2))，但现有方法均未显式建模这种上下文依赖性，也未将其与细粒度偏见类型分类联合优化。

当前最优偏见检测器 (Ghosh 等人, 2025 (https://arxiv.org/html/2606.26100#bib.bib1)) 在专家标注的 BABE 数据集 (Spinde 等人, 2021 (https://arxiv.org/html/2606.26100#bib.bib9)) 上微调 RoBERTa (Liu 等人, 2019 (https://arxiv.org/html/2606.26100#bib.bib17))，并根据 McNemar 检验和 5×2 交叉验证配对 t 检验，取得了相对于领域自适应 DA-RoBERTa 基线 (Krieger and Spinde, 2022 (https://arxiv.org/html/2606.26100#bib.bib10)) 的统计显著改进。虽然这项工作建立了严格的实验标准，但它严格在句子层面上运行，并未区分诸如情绪化语言、框架、信息性偏见或来源限制等偏见类型。标注成本进一步限制了可用训练数据：BABE 仅包含 3700 个句子，限制了泛化能力。基于大语言模型 (LLM) 标注的方法 (Horych 等人, 2025 (https://arxiv.org/html/2606.26100#bib.bib3)) 近期显示出在扩展偏见标注语料库方面的前景，但尚未与上下文感知架构结合。

在本文中，我们通过提出 **HierBias**：一种*层次化上下文条件媒体偏见检测器*来解决这些空白。HierBias 做出三项关键贡献：

1. 1. **形式化框架**。我们引入了*上下文条件偏见概率*的概念 \(P(y_i^b=1 \mid s_i, C_i)\)，并从理论上证明 (定理 1 (https://arxiv.org/html/2606.26100#Thmtheorem1))：当句子间互信息非零时，利用完整的文档上下文严格降低了相对于仅使用句子的分类器的贝叶斯误差。
2. 2. **HierBias 架构**。我们设计了一个两阶段编码器：一个句子级 RoBERTa 编码器后跟一个跨句子 Transformer 聚合器，并与一个多任务输出头耦合，该输出头联合预测二值偏见存在性和细粒度偏见类型。
3. 3. **实证验证**。在 BABE (Spinde 等人, 2021 (https://arxiv.org/html/2606.26100#bib.bib9)) 和 BASIL (Fan 等人, 2019 (https://arxiv.org/html/2606.26100#bib.bib16)) 上，HierBias 在 BABE 上的 F1 比 bias-detector 高 +2.6%，MCC 高 +4.3%，McNemar 检验确认统计显著性 (p<0.05)。我们进一步表明，LLM 标注数据 (Horych 等人, 2025 (https://arxiv.org/html/2606.26100#bib.bib3)) 增强和多任务训练提供了互补且可叠加的收益，这与我们的定理 2 (https://arxiv.org/html/2606.26100#Thmtheorem2) 一致。

## 2 相关工作

### 2.1 媒体偏见检测数据集与基准

自动化媒体偏见检测领域一直受到专家标注资源可用性的影响。**BABE** (Spinde 等人, 2021 (https://arxiv.org/html/2606.26100#bib.bib9)) 提供了 3700 个带有二值偏见标签和词级标注的句子，收集自多样化的新闻媒体和主题，并且仍是句子级偏见检测的主要基准。**BASIL** (Fan 等人, 2019 (https://arxiv.org/html/2606.26100#bib.bib16)) 在跨度级别上标注了 300 篇新闻文章，区分了信息性偏见（选择性呈现事实）和词汇性偏见（情绪化词语选择），提供了更丰富的结构监督。**MBIB** (Wessel 等人, 2023 (https://arxiv.org/html/2606.26100#bib.bib7)) 将九个媒体偏见任务和 22 个相关数据集统一在共同评估协议下，揭示出没有单一架构能在所有偏见类型上占优，并且认知偏见和政治偏见比仇恨言论或性别偏见更难检测。**媒体偏见分类法** (Spinde 等人, 2023 (https://arxiv.org/html/2606.26100#bib.bib8)) 综合了 3140 篇论文（2019–2022），表征了 17 种不同的偏见形式，为我们细粒度类型分类提供了分类词汇。近期工作已扩展到英语和静态数据集之外。**SAFARI** (Azizov 等人, 2024 (https://arxiv.org/html/2606.26100#bib.bib6)) 引入了用于新闻媒体中政治偏见和事实性检测的跨语言语料库，证明多语言预训练语言模型 (MPLM) 可以在语言间迁移偏见知识。**媒体偏见检测器**工具 (Wang 等人, 2025 (https://arxiv.org/html/2606.26100#bib.bib12)) 提出了一个 LLM 驱动的管道，用于近实时选择性和框架性偏见分析，并通过 CHI 方法使用专家记者和普通读者进行评估。尽管取得了这些进展，评估仍主要在受控环境中的小数据集上进行，并且现有基准没有直接评估上下文感知的句子级分类器。

### 2.2 基于 Transformer 的偏见检测

自动化句子级偏见检测的主流方法是在标注语料库上微调预训练语言模型。**DA-RoBERTa** (Krieger and Spinde, 2022 (https://arxiv.org/html/2606.26100#bib.bib10)) 引入了在媒体偏见语料库上的领域自适应预训练，然后在 BABE 上进行微调，实现了 0.814 的 F1，成为事实上的强基线。最近的 **bias-detector** (Ghosh 等人, 2025 (https://arxiv.org/html/2606.26100#bib.bib1)) 直接在 BABE 上微调 RoBERTa-base，并通过 McNemar 检验和 5×2 CV 配对 t 检验，确立了相对于 DA-RoBERTa 的统计显著改进；基于注意力的分析进一步表明，模型关注上下文相关而非政治敏感的标记。我们的工作借鉴并扩展了几个相关研究方向。视觉上下文内学习范式 (Zhou 等人, 2024a (https://arxiv.org/html/2606.26100#bib.bib32)) 展示了上下文条件推理在视觉-语言环境中的能力，激励了在文本偏见检测中利用类似上下文的操作。思维链推理 (Zhou 等人, 2023 (https://arxiv.org/html/2606.26100#bib.bib30)) 表明，保持连贯的上下文链可以改善在混乱或多面输入上的预测，我们将这一原则适应于句子序列建模。视觉-语言模型的长上下文推理 (Zhou 等人, 2024b (https://arxiv.org/html/2606.26100#bib.bib31)) 同样强调了重新思考如何整合上下文（而非仅仅扩展上下文）的好处。从 NLP 角度看，以事件为中心的预训练方法 (Zhou 等人, 2022b (https://arxiv.org/html/2606.26100#bib.bib28); a (https://arxiv.org/html/2606.26100#bib.bib29)) 展示了编码关系性和上下文结构的价值，我们通过跨句子注意力将其操作化。多能力泛化框架 (Zhou 等人, 2025a (https://arxiv.org/html/2606.26100#bib.bib34)) 进一步支持了我们的多任务设计，表明在异构目标上的训练促进了鲁棒的共享表示。Menzner 和 Leidner 的并行工作 (Menzner and Leidner, 2024a (https://arxiv.org/html/2606.26100#bib.bib14); b (https://arxiv.org/html/2606.26100#bib.bib4)) 系统比较了大型预训练模型在句子级偏见检测和子类型分类上的表现，引入了 27 类细粒度偏见分类法，并利用合成示例改善稀有类性能。另一条互补的研究路线探索了基于 LLM 的提示作为微调的替代方案。Maab 等人 (Maab 等人, 2024 (https://arxiv.org/html/2606.26100#bib.bib2)) 证明，跨多个 LLM 家族的基于提示的技术实现了与微调模型相当的性能，同时大幅降低了工程开销，并且能够访问更丰富上下文的更大模型优于较小的基于提示的基线。Horych 等人 (Horych 等人, 2025 (https://arxiv.org/html/2606.26100#bib.bib3)) 调查了 LLM 作为媒体偏见标注者的适用性，构建了 48K 句子的 *annolexical* 数据集，并训练了分类器，在 MCC 上超越标注者 LLM 5–9%，同时在 BABE 和 BASIL 上接近人工标注性能。这些发现直接解决了种子论文提出的数据稀缺问题，并激励我们在 HierBias 中使用 LLM 标注数据增强。HierBias 在两个关键方面不同于所有先前工作。第一，它通过层次化架构显式建模了偏见预测的*上下文依赖性*，而非将上下文视为实现细节。第二，它通过一个带有 KL 对齐正则化器的多任务目标，联合优化二值检测和四类类型分类，并由一个泛化界 (定理 2 (https://arxiv.org/html/2606.26100#Thmtheorem2)) 支持，该界解释了为什么多任务学习能提高小语料库上的样本效率。

### 2.3 大语言模型中的政治偏见

除了新闻文本，对 LLM *内部*的政治偏见也日益关注。Bang 等人 (Bang 等人, 2024 (https://arxiv.org/html/2606.26100#bib.bib11)) 提出了一个沿内容和风格两个维度测量 LLM 中政治偏见的框架，评估了 11 个开源模型在诸如生殖权利和气候变化等主题上的表现。Banik 等人 (Banik 等人, 2025 (https://arxiv.org/html/2606.26100#bib.bib5)) 构建了一个人工标注数据集，并比较了 GPT、BERT、RoBERTa 和 FLAN，发现微调的 RoBERTa 与人工标签的一致性最高，而零样本 GPT 显示出最强的一般一致性。这些工作强调了 LLM 内部偏见与其*检测*外部媒体偏见能力之间的关系是非平凡的，这激励了严格区分标注伪影与真实检测能力的评估协议。我们工作的进一步背景来自事件中心语言理解、多语言知识图谱问答 (Zhou 等人, 2021 (https://arxiv.org/html/2606.26100#bib.bib23))、偏见感知图像生成 (Zhou 等人, 2026a (https://arxiv.org/html/2606.26100#bib.bib35))、利用大语言模型的高效视频生成 (Zhou 等人, 2026b (https://arxiv.org/html/2606.26100#bib.bib24))、医学视觉-语言建模 (Zhou 等人, 2025b (https://arxiv.org/html/2606.26100#bib.bib33))、用于特定领域检测的记忆增强状态空间模型 (Wang 等人, 2024 (https://arxiv.org/html/2606.26100#bib.bib27))，以及基于残差语言模型的生物医学成像 (Lai 等人, 2024 (https://arxiv.org/html/2606.26100#bib.bib26))，所有这些都展示了支撑 HierBias 的上下文感知、多任务和领域自适应学习范式的广泛实用性。

## 3 方法论

### 3.1 问题形式化

将一篇新闻文章表示为 \(n\) 个句子的序列 \(d = (s_1, s_2, \ldots, s_n)\)，其中每个句子 \(s_i = (t_{i,1}, \ldots, t_{i,l_i})\) 是一个 token 序列。我们定义两个预测任务：

**任务 1 (二值偏见检测)**。对于每个句子 \(s_i\)，预测 \(y_i^b \in \{0,1\}\)，其中 \(y_i^b = 1\) 表示一个带偏见的句子。

**任务 2 (偏见类型分类)**。对于每个带偏见的句子 (\(y_i^b = 1\))，预测偏见类型 \(y_i^t \in \mathcal{T} = \{LL, FR, IN, SR\}\)，分别对应情绪化语言、框架、信息性偏见和来源限制。

联合目标为：
\[
\mathcal{L} = \mathcal{L}_{\mathrm{binary}} + \alpha\,\mathcal{L}_{\mathrm{type}} + \beta\,\mathcal{L}_{\mathrm{KL}},
\]
其中 \(\alpha, \beta > 0\) 是超参数。我们在 3.7 节中详细定义每一项。

### 3.2 符号说明

令 \(\mathbf{h}_i \in \mathbb{R}^{d_s}\) 表示句子编码器产生的 \(s_i\) 的句子表示，\(\hat{\mathbf{h}}_i \in \mathbb{R}^{d_s}\) 表示跨句子聚合后的上下文增强表示，\(C_i = d \setminus \{s_i\}\) 表示 \(s_i\) 的上下文（\(d\) 中除 \(s_i\) 外的所有句子）。所有线性投影矩阵 (\(W_Q, W_K, W_V, W_b, W_t\)) 均为可学习参数；\(\sigma(\cdot)\) 表示 sigmoid 函数；\(H(\cdot)\) 表示 Shannon 熵；\(I(\cdot;\cdot)\) 表示互信息。

### 3.3 形式化定义

###### 定义 1 (上下文条件偏见概率)。

对于文章 \(d\) 中的句子 \(s_i\)，*上下文条件偏见概率*为：
\[
P_\theta(y_i^b = 1 \mid s_i, C_i) \triangleq \sigma(W_b \hat{h}_i + b_b),
\]
其中 \(\hat{h}_i\) 是上下文增强表示。该概率显式地以整个文档上下文为条件。