论文页面 - VDiff-Bench：一个挑战性的细粒度图像差异识别基准测试

来源：https://huggingface.co/papers/2609.06245

摘要

VDiff-Bench 评估多模态语言模型在细粒度图像差异识别方面的性能，揭示了其在检测微妙低级视觉变化方面的重大弱点。

多模态大型语言模型 (https://huggingface.co/papers?q=Multimodal%20Large%20Language%20Models) (MLLMs) 在视觉问答 (https://huggingface.co/papers?q=visual%20question%20answering) 等通用视觉理解任务上表现强劲，但它们往往在一项基本的比较技能上遇到困难：识别两张相似图像之间的变化。我们引入了 VDiff-Bench (https://huggingface.co/papers?q=VDiff-Bench)，一个用于细粒度图像差异识别 (https://huggingface.co/papers?q=Image%20Difference%20Identification) 的挑战性多项选择基准测试。VDiff-Bench (https://huggingface.co/papers?q=VDiff-Bench) 包含针对图像对的1,756道四选一问题，涵盖了10个变化类别：位置、运动、区域图像颜色、整体图像颜色、出现/消失、噪声/分辨率、纹理、替换/大小、OCR/文本和光照。每个问题对应两张图像输入和4个选项：真实差异、两个困难负样本描述 (https://huggingface.co/papers?q=hard%20negative%20descriptions) 和一个“无差异”干扰项。为了增加任务的挑战性，我们特别设计了基于真实标签的负样本，要求模型区分实际变化与相近的语义替代方案。对11个最先进的开源和闭源 MLLMs 的实验表明，细粒度视觉比较仍然很脆弱：模型在不同来源和变化类别上的表现不均衡，对诸如噪声和纹理等微妙的低级变化 (https://huggingface.co/papers?q=low-level%20changes) 存在持续性的失败。例如，三个70亿-80亿参数规模的开源 MLLMs 在语义变化上的得分是52.5%-70.6%，但在噪声和纹理等低级变化 (https://huggingface.co/papers?q=low-level%20changes) 上仅得8.7%-33.3%，错误地假设两张图像输入之间没有变化。令人惊讶的是，尽管其他闭源商业模型表现强劲，Grok 4.3 在识别图像间的噪声和纹理差异方面表现出显著的性能下降，明显落后于像 Kimi K2.5 和 K3 这样的大型开源模型。总体而言，VDiff-Bench (https://huggingface.co/papers?q=VDiff-Bench) 为评估 MLLMs 的比较性视觉理解 (https://huggingface.co/papers?q=comparative%20visual%20understanding) 提供了一个有针对性的诊断工具，揭示了标准单图像视觉语言任务所未能捕捉到的失败情况。

查看 arXiv 页面 (https://arxiv.org/abs/2609.06245) 查看 PDF (https://arxiv.org/pdf/2609.06245) 项目页面 (https://huggingface.co/spaces/elaine1wan/vdiff-bench) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.06245)

在你的智能体中获取此论文：

hf papers read 2609.06245

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2609.06245 以将其链接到此页面。

引用此论文的数据集0

无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.06245 以将其链接到此页面。

引用此论文的 Space1

包含此论文的合集0

无合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 以将其链接到此页面。