论文页面 - SpanCalib-VLM：视觉语言模型中校准化的幻觉片段检测

来源：https://huggingface.co/papers/2608.29974

摘要

一种结合多模态序列标注器和生成式视觉语言模型的混合系统，通过联合校准融合机制提升了幻觉片段检测的准确性和校准性。

检测大型视觉语言模型（Large Vision-Language Models, LVLMs）中的幻觉现象，既需要精确的片段定位（span localization），也需要良好校准的置信度分数。经过微调的生成式视觉语言模型（generative VLM）擅长识别幻觉文本片段，但存在过度自信和推理延迟高的问题。判别式序列标注器（discriminative sequence tagger）具备确定性的处理速度和优越的校准能力，但其片段召回较为保守。我们提出了 SpanCalib-VLM，这是一个用于 SHROOM-Visions 共享任务的混合双系统，它结合了一个多模态序列标注器（由 XLM-RoBERTa-Large 与 SigLIP 视觉编码器通过交叉注意力机制融合而成）和我们微调过的生成式视觉语言模型（Qwen3.5-4B-SHROOM-SFT）。通过采用联合校准融合（Union-Calibrated Fusion）策略，来自生成模型的候选片段会利用序列标注器输出的校准概率进行重新评分。在 SHROOM-Visions 英语评估集上，我们的集成模型达到了 0.41 的皮尔逊校准相关系数（Pearson calibration correlation），整体交并比（IoU）为 0.39，其中干净响应的交并比高达 0.91，总体检测准确率为 70.7%。我们已公开模型权重和代码。

查看 arXiv 页面 (https://arxiv.org/abs/2608.29974)查看 PDF (https://arxiv.org/pdf/2608.29974)GitHub0 (https://github.com/Aman-byte1/Hallucination-Detection-in-LVLMs)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.29974)

在您的智能体中获取此论文：

hf papers read 2608.29974

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

没有模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2608.29974 即可将此论文关联到该模型。

引用本文的数据集 0

没有数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2608.29974 即可将此论文关联到该数据集。

引用本文的 Spaces 0

没有 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2608.29974 即可将此论文关联到该 Space。

包含本文的集合 0

没有集合包含此论文

将此论文添加到一个集合 (https://huggingface.co/new-collection)即可将此论文关联到该集合。