VIEScore2:基于空间定位解释的统一图像评估
摘要
VIEScore2 提出了一种针对图像生成与编辑任务的统一评估器,可在单次模型推理中同时预测质量分数,并在 N×N 网格上输出缺陷位置;该模型通过 GRPO 后训练引入单元级定位奖励。在零样本设置下,VIEScore2 优于 Gemini-3-Flash 等通用视觉语言模型,总体 SRCC 达到 0.601,并在六项缺陷定位基准中的五项上取得前三名成绩。
查看缓存全文
缓存时间: 2026/10/08 12:24
论文页面 - VIEScore2:具备空间定位解释能力的统一图像评估模型
来源:https://huggingface.co/papers/2610.00994 发布于 10月1日
·
由 https://huggingface.co/vinesmsuic 提交
Max Ku (https://huggingface.co/vinesmsuic),发布于 10月8日
摘要
现有的合成图像评估器通常只提供一个标量质量分数,而无法指出支撑该分数的具体图像区域。我们提出 VIEScore2,一个支持可选条件图像输入的统一评估器,可同时用于图像生成和编辑任务。VIEScore2 将图像表示为 N×N 网格,并在单次模型前向传播中联合预测质量分数和缺陷位置。其文本原生的网格表示为异构空间监督提供了统一接口,并支持可直接验证的后训练目标。我们在涵盖纯评分、纯定位及联合监督的 38K 个样本上进行训练,样本横跨生成和编辑任务。在监督微调的基础上,我们进一步应用 GRPO 来改进缺陷定位,奖励函数结合了单元级 Dice 重叠度、分数准确率和输出格式有效性。一个免参数的解析器将结构化预测转换为可读的解释文本。在主测试套件上,VIEScore2 的整体分数 SRCC 达到 0.601,而在相同输入条件下,零样本通用 VLM 基线中表现最强的 Gemini-3-Flash 仅为 0.491。在缺陷定位方面,VIEScore2 在六个基准中的三个上,逐图网格 IoU 超越了通用 VLM 和专用空间评估器,并在其中五个基准上位列前三,包括超出其训练数据来源的数据集。
查看 arXiv 页面 (https://arxiv.org/abs/2610.00994) 查看 PDF (https://arxiv.org/pdf/2610.00994) 项目页面 (https://tiger-ai-lab.github.io/VIEScore2/) GitHub1 (https://github.com/TIGER-AI-Lab/VIEScore2) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.00994)
在你的代理工具中获取此论文:
hf papers read 2610.00994
还没有最新版 CLI?运行:curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型(1个)
Allenda/VIEScore2 Image-Text-to-Text • 9B • 约 10 小时前更新 • 47 • 1 (https://huggingface.co/Allenda/VIEScore2)
引用此论文的数据集(0个)
暂无关联数据集。
在数据集的 README.md 中引用 arxiv.org/abs/2610.00994 即可将此数据集关联到本页面。
引用此论文的 Spaces(1个)
包含此论文的收藏夹(0个)
暂无包含此论文的收藏夹。
将此论文添加到收藏夹 (https://huggingface.co/new-collection) 即可将本页面关联。
相似文章
GridVQA-X:评估多模态可解释性方法的框架
GridVQA-X 引入了一个诊断框架,通过区分多模态模型中真正的空间关系推理与跨模态捷径,来评估跨模态可解释性。
展示而非讲述:在生成像素而非LLM文本中评估空间认知
提出了ProVisE,一个与基准无关的框架,用于利用像素空间输出评估图像生成模型的空间认知,并引入了SpatialGen-Bench,用于跨14个空间子任务的统一评估。
VISTA: 视图一致的自验证训练用于GUI定位
VISTA提出了一种用于GUI定位的视图一致自验证训练方法,通过使用多个保留目标的视图改进了基于GRPO的坐标预测,在多个基准测试上实现了持续的精度提升。
GST-Bench:VLMs能否从视频中形成全局空间意识?
GST-Bench是一个新的VQA基准,用于评估视频理解中的全局空间意识,测试VLMs能否从长时间的第一人称视频中构建连贯的全局场景表示。对22个最先进的VLMs的评估显示,它们与人类之间存在巨大差距,最佳模型得分42.68,而人类为79.08。
SGOCR:一个空间定位的、以OCR为核心的流水线与V1数据集 [P]
大家好!我一直在独立研究和开发小巧但强大的视觉语言模型(VLM),并注意到视觉数据集中的一个空白——没有一个数据集在教我的模型简单地将文本定位到图像中,而是试图让模型推理文本或场景本身。这促使我投入两周的副项目,创建了SGOCR,一个开源数据集流水线,用于生成空间定位的、以OCR为核心的VQA元组,包含大量丰富的元数据以支持多样化的VLM训练策