论文页面 - UniProbe：基于多结构内部表征的可学习视觉语言模型幻觉检测器

来源：https://huggingface.co/papers/2608.10835 发布于 8月11日

·

提交者https://huggingface.co/Dvir

Samuel (https://huggingface.co/Dvir) 于8月17日

摘要

UniProbe是一个轻量级的可学习检测器，它使用有向图和交替的GNN、ViT以及GRU模块，在冻结的大型视觉语言模型中识别幻觉标记，从而实现生成过程中的实时重采样。

大型视觉语言模型(https://huggingface.co/papers?q=Large%20Vision-Language%20Models)（LVLMs）已展现出令人印象深刻的视觉推理和对话能力，但常常会生成视觉输入无法支撑的幻觉内容。有效的缓解措施需要标记级定位(https://huggingface.co/papers?q=token-level%20localization)，从而实现针对性干预，而无需丢弃整个回复。现有检测器需要昂贵的全模型微调、依赖于忽略模型生成过程的外部验证器，或者将内部信号简化为孤立的特征和手工设计的统计量，忽略了空间、序列和关系结构。

我们提出了UniProbe，一个轻量级、统一且可学习的检测器，它通过单次前向传播来建模冻结的LVLM的异构计算轨迹。UniProbe在图像块、查询标记和生成的标记上构建了一个有向图(https://huggingface.co/papers?q=directed%20graph)，并利用注意力权重(https://huggingface.co/papers?q=attention%20weights)来编码它们之间的关系。它通过交替的结构感知模块处理该轨迹：用于关系证据的GNN(https://huggingface.co/papers?q=GNN)、用于二维视觉几何的ViT(https://huggingface.co/papers?q=ViT)以及用于响应顺序的GRU(https://huggingface.co/papers?q=GRU)。将它们交错使用，使得空间、关系和序列证据能够在检测器中持续交互。我们进一步开发了一个用于幻觉感知解码的流式变体，该变体在生成过程中检测并重采样幻觉标记，同时还提出了一种将检测器与LVLM自身输出对齐的自适应(https://huggingface.co/papers?q=self-adaptation)策略。

在不同的LVLM骨干网络上，UniProbe在标记级和对象级幻觉检测(https://huggingface.co/papers?q=hallucination%20detection)方面均达到了最先进的水平。在解码过程中，它在标准生成1.06倍的延迟下，将对象幻觉降低了高达55%。

查看arXiv页面 (https://arxiv.org/abs/2608.10835)查看PDF (https://arxiv.org/pdf/2608.10835)项目页面 (https://research.nvidia.com/labs/par/uniprobe/)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2608.10835)

通过代理获取本文：

hf papers read 2608.10835

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型数量：0

没有模型链接此论文

在模型README.md中引用 arxiv.org/abs/2608.10835 以从本页面链接。

引用本文的数据集数量：0

没有数据集链接此论文

在数据集README.md中引用 arxiv.org/abs/2608.10835 以从本页面链接。

引用本文的Spaces数量：0

没有Space链接此论文

在Space README.md中引用 arxiv.org/abs/2608.10835 以从本页面链接。

包含本文的收藏夹数量：0

没有收藏夹包含此论文

将此论文添加到收藏夹 (https://huggingface.co/new-collection)以从本页面链接。