# DEPICT：通过答案一致性为文本与图像的对齐程度评分

Hugging Face Daily Papers 论文
text-to-image evaluation-metric vision-language-model multimodal benchmarking hallucination-detection

摘要

DEPICT 是一种免训练的图文对齐评分指标，它以「基于图像的回答」与「仅基于文本描述的回答」在分解后的验证问题上的期望一致性，替代了固定的参考答案，将否定类判断的准确率从 19% 提升至 88%，并在五个基准、十一种骨干模型上超越了其他免训练指标。

图文对齐是计算机视觉中的一个核心问题，其应用涵盖图像描述评估、幻觉检测、数据筛选，以及文生图（T2I）模型的基准测试。随着 T2I 模型的不断进步，基准测试的要求日益严苛，需要能够识别一系列问题的评估指标，例如物体缺失、属性错配、计数错误以及忽略否定词等。近期的研究通过在偏好数据上微调评估器，或直接提示视觉-语言模型（无论是对描述进行整体处理，还是分解为细粒度的验证问题）来应对这一挑战。然而，现有方法仍有不足：微调后的指标受限于单一骨干网络与训练分布；整体性指标会遗漏细粒度细节；而分解式指标依赖于"YES"这一固定答案假设，一旦该假设不成立，即使图像是忠实的也会受到惩罚。与此不同，我们提出了 DEPICT，这是一种免训练的评估指标，它用基于图像的回答与仅基于描述的回答之间的期望一致性取代了固定参考答案，并根据描述对每个问题的决定性程度来赋予相应权重。通过替换固定参考答案，我们的这一一致性规则将否定词相关的准确率从 19% 提升到了 88%。为了弥补分解过程中丢失的上下文信息，DEPICT 将该一致性得分与整体性得分相结合。我们在五个基准、来自三个模型家族的十一个骨干网络上对 DEPICT 进行了评估，结果表明它超越了所有免训练指标，并在三个人类相关性基准中的两个上超过了微调后的评估器。
查看原文
查看缓存全文

缓存时间: 2026/10/06 12:55

论文页面 - DEPICT：通过答案一致性对文本-图像对齐度进行评分

来源：https://huggingface.co/papers/2610.03617

摘要

图文对齐是计算机视觉中的核心问题，在图像描述评估、幻觉检测、数据筛选以及文本生成图像（T2I）生成器的基准评测中均有重要应用。随着 T2I 模型不断改进，基准评测的要求也日益提高，需要能够发现一系列问题的度量方法，例如缺失物体、属性替换、计数错误和被忽略的否定词等。近期的研究通过在偏好数据上微调评估器，或对视觉-语言模型进行提示，来应对这一挑战——后者既可能整体地输入图像描述，也可能将其分解为多个验证问题。然而，现有方法均存在不足：微调后的度量方法受限于特定骨干网络和训练分布；整体式度量方法会遗漏细粒度细节；而分解式度量方法则依赖于固定的“是（YES）“假设，一旦该假设不成立，就会对忠实呈现图像的描述予以惩罚。与此不同，我们提出了 DEPICT，一种免训练的度量方法，它用基于图像的回答与仅基于图像描述的回答之间的期望一致性替代了固定的参考答案，并根据图像描述对各个问题的确定程度来加权这些问题。通过替换固定参考答案，我们的这一一致性规则将否定句的准确率从 19% 提升至 88%。为了弥补分解过程中丢失的上下文信息，DEPICT 将这一一致性得分与整体式得分相融合。我们在五个基准数据集和来自三个模型家族的十一个骨干模型上对 DEPICT 进行了评估，结果表明它优于所有免训练度量方法，并在三个人类相关性基准中的两个上超越了微调的评估器。

查看 arXiv 页面　查看 PDF　加入收藏

在你的智能体中获取该论文：

hf papers read 2610.03617

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型 0

没有模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.03617，即可将该论文从本页面链接过去。

引用该论文的数据集 0

没有数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.03617，即可将该论文从本页面链接过去。

引用该论文的 Spaces 0

没有 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.03617，即可将该论文从本页面链接过去。

包含该论文的合集 0

没有合集包含此论文

将该论文添加到合集，即可从本页面链接过去。

相似文章