检测器失效之处：通过专家引导的互蒸馏弥合尾部领域差距

# 检测器的失败之处：通过专家引导的互蒸馏弥合尾部领域差距
来源：https://arxiv.org/html/2607.26555
Xuan Feng¹·³, Guihong Liu², Tianlong Gu¹\\通讯作者, Shuai Zhao³, Xuemin Wang², Chenzhong Bin², Yang Liu⁴, Bo An³

###### 摘要

多模态假新闻检测器在跨领域泛化方面通常表现不佳，因为它们学会了依赖不可靠的证据：由不平衡数据放大的领域特定捷径，以及使跨模态证据不可靠的语义不一致的文本-图像对。我们提出了专家引导的互蒸馏（EGMD），它学习在预测流水线中应当信任哪些证据。在输入层面，输入级校准将成对一致性编码为融合前的共享增益。在表示层面，专家引导的教师对齐领域统计信息，并鼓励领域特定模式集中在专门专家中。在决策层面，基于原型锚定的领域特定学生使用互学习和双通道蒸馏来继承教师的特征几何结构和校准后的预测，同时抑制局部领域先验。我们进一步构建了Weibo\_Balanced，这是一个领域平衡的基准，用于隔离不平衡对泛化的影响。在四种语言的两个数据集上，EGMD实现了最先进的准确性，同时将领域偏差减少了高达57.3%。

## 1 引言

数字媒体的快速扩散使得假新闻检测成为维护公众信任不可或缺的任务（Zeng et al. 2024 (https://arxiv.org/html/2607.26555#bib.bib38); Guo et al. 2025 (https://arxiv.org/html/2607.26555#bib.bib9)）。最近，多模态学习在该领域取得了优越性能，利用跨模态相关性显著优于单模态对应方法（Qi et al. 2021 (https://arxiv.org/html/2607.26555#bib.bib26); Ma et al. 2024 (https://arxiv.org/html/2607.26555#bib.bib21); Yang et al. 2024 (https://arxiv.org/html/2607.26555#bib.bib36); Liu et al. 2024 (https://arxiv.org/html/2607.26555#bib.bib18); Zhao et al. 2025 (https://arxiv.org/html/2607.26555#bib.bib41)）。尽管取得了这些进展，当前方法仍表现出较差的跨领域泛化能力，主要归因于两个因素：*领域偏差* 和 *语义错位*。领域偏差通常源于不平衡的数据分布，当模型依赖虚假的领域特定相关性而不是学习事件不变语义时发生（Li et al. 2024 (https://arxiv.org/html/2607.26555#bib.bib12)）。此外，多模态框架面临一个单模态设置中不存在的独特挑战，称为语义错位（Cai et al. 2023 (https://arxiv.org/html/2607.26555#bib.bib1)）。这个问题源于固有的跨模态异质性，表现为模态之间的语义冲突，严重削弱了检测过程的可信度。因此，联合解决领域偏差和语义错位对于可靠的跨领域假新闻检测至关重要。

然而，这些障碍对泛化的确切影响仍未得到充分探索。为了解耦和量化这些失败模式，我们进行了一项有针对性的实证研究，以提供这些缺陷的具体证据：

❶ 通过不平衡数据分布导致的领域偏差。领域不平衡导致聚合训练目标被数据丰富的领域主导，鼓励模型学习多数领域的捷径，同时使尾部领域的决策边界估计不足。这个问题在Weibo21中尤为突出（Nan et al. 2021 (https://arxiv.org/html/2607.26555#bib.bib24)），其中社会领域包含2615个实例，而科学领域仅有236个，导致11.08×的体积差距。与这种不平衡一致，MMDFND（Tong et al. 2024 (https://arxiv.org/html/2607.26555#bib.bib31)）和MiMOE-FND（Liu et al. 2025 (https://arxiv.org/html/2607.26555#bib.bib19)）在高资源领域表现有竞争力，但在像军事和科学这样的低代表领域表现出显著的准确率下降。完整的领域统计和额外分析见补充材料。

❷ 对语义错位的敏感性。我们的错误分析揭示了当文本和视觉证据在语义上不一致时，反复出现的预测不稳定性。为了使这种失败模式明确化，图LABEL:fig:semantic\_misalignment重建了一个明显的例子，保留相同的健康领域文本，并将其匹配图像替换为不相关的政治图像。该图报告了P(Fake) P(\\mathrm{Fake})的变化而非分类正确性：MMDFND和MiMOE-FND向决策边界移动（0.4948和0.5864），而EGMD对引入的冲突表现出更清晰的响应（0.7623）。这种重建展示了模型在故意语义冲突下的敏感性，但并不证明不匹配本身决定了真实性。在实践中，合法新闻可能使用库存或弱相关图像；因此语义不匹配既不是假新闻的必要条件也不是充分条件。更广泛的结构效度评估需要单独的注释来区分欺骗性不匹配和良性视觉相关性。在这个说明性设置中，现有模型的较弱响应与一个潜在的泛化瓶颈一致：跨模态兼容性仅在*融合后*引入，此时冲突信号可能已经污染了联合表示。这一观察启发了我们的输入级校准设计，而主要性能声明仍基于自然标注的基准评估而非这个构造的例子。

在本文中，我们识别了一个共享的错误传播路径：不可靠的跨模态证据污染了表示，与领域统计纠缠，并偏向决策。因此，我们提出了专家引导的互蒸馏（EGMD），包含三个相互依赖的创新。*输入级校准*将成对一致性编码为融合前的共享增益。*表示级去偏*构建了一个专家引导的教师，其动态领域特定归一化（DDN）在对齐领域条件统计后，由MoE组织跨专家的残差领域模式。*决策级泛化*构建了一个互蒸馏学生，结合领域原型和互学习以及特征级和逻辑级转移。每个阶段因此优化了前一个阶段的输出，而不是作为附加的正则化器。教师端模块仅用于训练，推理时只留下一个轻量级学生分支。

我们的主要贡献总结如下：

- • 我们揭示了领域不平衡和跨模态语义错位共同鼓励多模态检测器学习领域特定捷径，导致跨领域性能不均衡。
- • 我们提出了EGMD用于跨领域一致性。其领域归一化的教师对齐领域统计信息，鼓励领域特定模式集中在专门专家中，而基于原型锚定的互蒸馏抑制了局部先验。
- • 我们通过构建Weibo\_Balanced隔离了领域不平衡对领域偏差的贡献，将不平衡比率从11.08×降低到1.27×。在这种控制下，EGMD的总偏差下降了37.7%，支持领域不平衡作为领域偏差的一个重要驱动因素。
- • 在四个数据集上的实验证实了持续改进，特别是在脆弱领域中。

## 2 相关工作

### 2.1 多模态假新闻检测

多模态技术已在各个领域得到广泛认可（Cui et al. 2025a (https://arxiv.org/html/2607.26555#bib.bib3), b (https://arxiv.org/html/2607.26555#bib.bib4); Li et al. 2025a (https://arxiv.org/html/2607.26555#bib.bib13), b (https://arxiv.org/html/2607.26555#bib.bib14), c (https://arxiv.org/html/2607.26555#bib.bib15), d (https://arxiv.org/html/2607.26555#bib.bib16)），其应用扩展到假新闻检测（Qiao et al. 2025 (https://arxiv.org/html/2607.26555#bib.bib27); Shen et al. 2025 (https://arxiv.org/html/2607.26555#bib.bib29); Zhang et al. 2025 (https://arxiv.org/html/2607.26555#bib.bib39)）。虽然早期工作集中于单模态文本分析（Dou et al. 2021 (https://arxiv.org/html/2607.26555#bib.bib7); Zhu et al. 2022 (https://arxiv.org/html/2607.26555#bib.bib45)），但最近研究已转向利用文本和视觉信息的多模态方法（Wang, Yan, and Ding 2024 (https://arxiv.org/html/2607.26555#bib.bib34); Zhou et al. 2023 (https://arxiv.org/html/2607.26555#bib.bib43)）。最先进的方法主要集中在改进跨模态融合机制。例如，COOLANT（Wang et al. 2023 (https://arxiv.org/html/2607.26555#bib.bib33)）利用对比学习进行对齐，FSRU（Lao et al. 2024 (https://arxiv.org/html/2607.26555#bib.bib11)）探索频域交互，MTS（Sun et al. 2025 (https://arxiv.org/html/2607.26555#bib.bib30)）通过泰勒级数展开捕获高阶相关性。尽管它们在提取联合表示方面取得了成功，但这些方法通常忽略了*领域偏差*这一关键问题，假设数据独立同分布（i.i.d.），从而损害了它们对未见领域的泛化能力。

### 2.2 领域适应与MoE架构

最近的工作通过混合专家（MoE）和蒸馏来解决领域偏移。DTDBD（Li et al. 2024 (https://arxiv.org/html/2607.26555#bib.bib12)）使用双教师蒸馏但限于单模态输入。在多模态检测中，BMR（Ying et al. 2023 (https://arxiv.org/html/2607.26555#bib.bib37)）、MiMoE-FND（Liu et al. 2025 (https://arxiv.org/html/2607.26555#bib.bib19)）和MMDFND（Tong et al. 2024 (https://arxiv.org/html/2607.26555#bib.bib31)）使用专家进行表示融合，而MemiMoE-FND（Meng et al. 2026 (https://arxiv.org/html/2607.26555#bib.bib22)）向层次专家添加了记忆槽。ADOSE（Chen et al. 2026 (https://arxiv.org/html/2607.26555#bib.bib2)）则通过标记目标域子集执行主动多源适应。这些方法侧重于融合或监督适应；EGMD在不使用目标域真实性标签的情况下，联合针对领域级错误差异和语义错位，使用训练时的专家引导和互蒸馏。

传统和多模态方法的更广泛回顾见补充材料。

## 3 问题形式化与数据集构建

### 3.1 问题形式化

我们研究在领域分布不平衡下的跨领域多模态假新闻检测。训练集 D = ⋃_{d=1}^K D_d 覆盖 K 个领域，样本数量 n_d = |D_d| 不相等。每条新闻 x = (T, V) ∈ X = T × V 包含文本 T 和图像 V，具有二值真实性标签 y ∈ {0,1}，其中 y=1 表示假新闻，并属于领域 d ∈ {1, ..., K}。检测器 f_θ: X → [0,1] 估计新闻为假的概率。

令 P_d 表示领域 d 的数据分布，ℓ 表示二元分类损失。为了给每个领域同等的重要性，我们的任务级目标针对均匀加权的领域风险：

min_θ (1/K) ∑_{d=1}^K E_{(x,y)~P_d} [ℓ(f_θ(x), y)],    (1)

这防止了数据丰富领域的性能单独定义目标。因此，目标不仅包括高聚合准确率，还包括强尾部领域性能和低跨领域错误差异。

表1：平衡前后领域统计。R和F分别表示真实和假实例。
| 领域   | 原始     |         |        | 平衡（本文） |         |        |
|--------|----------|---------|--------|--------------|---------|--------|
|        | R        | F       | 大小   | R            | F       | 大小   |
| 金融   | 959      | 362     | 1,321  | 1,033        | 430     | 1,463  |
| 健康   | 485      | 515     | 1,000  | 662          | 862     | 1,524  |
| 军事   | 117      | 222     | 339    | 1,057        | 325     | 1,382  |
| 科学   | 143      | 93      | 236    | 1,023        | 259     | 1,282  |
| 政治   | 304      | 546     | 850    | 792          | 822     | 1,614  |
| 灾难   | 184      | 591     | 775    | 721          | 867     | 1,588  |
| 教育   | 243      | 248     | 491    | 928          | 545     | 1,473  |
| 社会   | 1,198    | 1,417   | 2,615  | 714          | 913     | 1,627  |
| 娱乐   | 1,007    | 440     | 1,447  | 1,007        | 440     | 1,447  |
| 总和   | 4,640    | 4,434   | 9,074  | 7,937        | 5,463   | 13,400 |
| 不平衡比率（最大/最小）：原始：11.08× vs. 本文：1.27× |

### 3.2 Weibo_Balanced：检验领域不平衡的影响

为了检验领域体积不均衡是否导致跨领域性能差异，我们构建了Weibo_Balanced，这是Weibo21的一个更均匀分布的扩展。它保留了原始任务和九个领域的分类法，同时使各领域的实例数量相当。这个设置提供了一个补充基准，用于评估在长尾分布大幅减少后领域差异是否持续存在。表1 (https://arxiv.org/html/2607.26555#S3.T1) 总结了结果统计。

#### 数据集构建

我们通过有针对性的关键词收集扩展了低代表领域，并通过分层下采样减少了过代表领域。遵循Weibo21的收集协议（Nan et al. 2021 (https://arxiv.org/html/2607.26555#bib.bib24)），十位领域专家独立标注每个新收集的实例。当至少八位标注者一致时保留领域标签；一致性较低的情况则进行进一步审查。

#### 结果分布

生成的数据集包含13,400个实例，领域大小范围为1,282到1,627。领域大小的最大值与最小值之比从Weibo21的11.08×降至1.27×。这极大地减少了领域体积的变化，并使得能够更直接地检验其与领域级性能差异的关系。

## 4 方法论

图1 (https://arxiv.org/html/2607.26555#S4.F1) 将EGMD展示为三阶段流水线。输入级校准在融合前暴露成对兼容性（§4.1 (https://arxiv.org/html/2607.26555#S4.SS1)）；表示级去偏通过对齐领域统计并通过条件专家组织残差领域模式（§4.2 (https://arxiv.org/html/2607.26555#S4.SS2)）；决策级泛化通过基于原型锚定的互学习和双通道蒸馏转移教师知识（§4.3 (https://arxiv.org/html/2607.26555#S4.SS3)）。

参见图注
图1：EGMD框架包括三个阶段：输入级校准（§4.1 (https://arxiv.org/html/2607.26555#S4.SS1)），通过动态领域特定归一化和混合专家进行表示级去偏（§4.2 (https://arxiv.org/html/2607.26555#S4.SS2)），以及通过基于原型锚定的互蒸馏学生进行决策级泛化（§4.3 (https://arxiv.org/html/2607.26555#S4.SS3)）。师生转移使用特征级和逻辑级蒸馏损失（L_feat, L_logit）。

### 4.1 输入级校准

第一阶段在特征交互前向融合网络暴露跨模态兼容性。标准的多模态融合假设文本和图像传达连贯的语义，然而这一假设在跨领域设置中经常被违反：一个健康相关的标题可能与一张不相关的政治照片配对，或者一张被篡改的图像可能伴随真实的文本。没有明确的兼容性提示，融合无法在特征交互前区分这些情况。

我们在特征交互前引入了一个一致性感知的门控机制。内容表示 h_T ∈ R^d_T