图对齐拓扑作为接地检测的归纳偏置

arXiv cs.CL 论文
hallucination-detection graph-neural-network alignment-topology grounding llm factual-correctness inductive-bias

摘要

本文介绍了将图对齐拓扑作为接地检测的归纳偏置，使用图神经网络对参考信息与LLM输出之间的对齐结构进行建模。该方法在多个幻觉和问答数据集上取得了最先进的结果，性能优于GPT-4o。

arXiv:2605.22963v1 Announce Type: new 摘要：大型语言模型（LLMs）旨在生成分布上合理的延续，而非明确验证生成的命题是否蕴含于源文档。这种归纳偏置有助于泛化，但无法编码回应是否相对于参考信息有依据。这些问题限制了LLMs在严格事实正确性至关重要的领域（如临床决策支持）中的应用。现有幻觉检测方法通过检索增强、自一致性或声明验证来提高事实性，但通常不直接学习对齐拓扑。为了利用对齐拓扑作为归纳偏置，我们构建了参考信息与LLM输出之间的对齐二分图，并训练图神经网络（GNN）通过消息传递来建模对齐结构。该方法在四个不同的幻觉和问答数据集上取得了最先进的结果，优于所有对比方法，包括GPT-4o等基础LLM。
查看原文
查看缓存全文

缓存时间: 2026/05/25 08:55 

# 图对齐拓扑作为基础检测的归纳偏置
来源: https://arxiv.org/abs/2605.22963
查看PDF (https://arxiv.org/pdf/2605.22963)

> 摘要: 大型语言模型(LLMs)经过优化，可以生成分布上合理的续写内容，而不是明确验证生成的命题是否由源文档所蕴含。这种归纳偏置使得模型能够泛化，但并未编码响应是否相对于参考文档具有基础性。这些问题限制了LLMs在需要严格事实正确性的领域中的应用，例如临床决策支持。现有的幻觉检测方法通过检索增强、自一致性或声明验证来提高事实性，但通常不直接基于对齐拓扑结构进行学习。为了利用对齐拓扑结构作为归纳偏置，我们在参考信息与LLM输出之间构建对齐的二部图，并训练一个图神经网络(GNN)，通过消息传递来建模对齐结构。该方法在四个不同的幻觉检测和问答数据集上取得了最先进的成果，优于所有对比方法，包括GPT-4o等基础LLM。

## 提交历史

来自: Paul Landes [查看邮箱 (https://arxiv.org/show-email/00534f9e/2605.22963)] **[v1]** 2026年5月21日 星期四 18:49:32 UTC (651 KB)

相似文章

Graph Machine: Exploring Edge Mechanisms as an Inductive Bias

arXiv cs.LG

This paper introduces Graph Machine, an architecture with explicit edge-based mechanisms (edge-augmented attention and edge-centric referral) to improve iterative relational reasoning. Experiments on Sudoku show it outperforms Transformer baselines, with ablations and mechanistic analysis attributing gains to the edge mechanisms.