VLMs 在基准测试中能取得高分，但同时会静默地抹去有意义的术语并引入幻觉偏差 [P]

Reddit r/MachineLearning 论文
vlm radiology report-generation evaluation-metrics bias clinical

摘要

本文强调，用于胸部X光报告生成的 VLMs 在基准测试中能取得高分，但同时会抹去有临床意义的术语并引入有偏见的语言，并提出一个框架来度量这些失败。

在与 VLMs 一起进行胸部X光报告生成（RRG）工作时，我们注意到评估指标存在缺陷。这种缺陷体现在：它们给重复模板、不含临床术语的报告以及“正常”报告在基准指标上打高分。此外，有临床意义但罕见的词语被抹去，使生成的报告看起来重复且乏味。重要的是，这没有临床效用。在下面的论文中，我们讨论了 VLMs 在 RRG 中的这种表现，并引入了一个框架来实际衡量术语的抹除和偏见术语的引入。论文：Measuring What VLMs Don't Say: Validation Metrics Hide Clinical Terminology Erasure in Radiology Report Generation 链接：参考论文网址：https://arxiv.org/abs/2603.01625
查看原文

相似文章

标记错误症状：评估医学文本中的LLM水印

arXiv cs.AI

本文首次严格研究了LLM水印方案如何影响医学性能，在多个LLM和VLM上评估了五种水印在临床推理任务中的效果。作者发现，水印可能导致医学文本质量下降，包括幻觉和词汇损坏，而这些在通用领域的基准测试中被掩盖。

揭示VLM可解释的故障模式

arXiv cs.AI

本文介绍了Revelio，这是一个通过搜索离散概念组合来系统性地发现视觉语言模型（VLM）中可解释故障模式的框架。应用于自动驾驶和室内机器人领域，它揭示了此前未报道的、可能导致碰撞或安全危险的漏洞。

基准是否低估了 LLM 的性能？采用以大语言模型为先、人工仲裁的评估方法评估幻觉检测

arXiv cs.CL

本文通过采用以大语言模型为先、人工仲裁的评估方法重新评估幻觉检测数据集，研究了标准基准是否低估了大语言模型（LLM）的性能。研究发现，在仲裁过程中融入大语言模型的推理能力可以提高评估的一致性，并表明针对容易产生歧义的任务，采用模型辅助的重新评估能产生更可靠的基准。

PARALLAX: 区分真实幻觉检测与基准构建伪影

arXiv cs.CL

本文揭示了LLM幻觉检测领域报道的许多进展实际上源于基准构建伪影，其中真实答案被嵌入到提示中，使得简单的文本相似度基线方法能够获得近乎完美的分数。通过大规模受控评估，作者证明，在适当控制下，大多数方法的表现接近随机水平，除了对上层隐藏状态的监督探针（如SAPLMA）以及他们提出的DRIFT。