VIEScore2:基于空间定位解释的统一图像评估

Hugging Face Daily Papers 论文

摘要

VIEScore2 提出了一种针对图像生成与编辑任务的统一评估器,可在单次模型推理中同时预测质量分数,并在 N×N 网格上输出缺陷位置;该模型通过 GRPO 后训练引入单元级定位奖励。在零样本设置下,VIEScore2 优于 Gemini-3-Flash 等通用视觉语言模型,总体 SRCC 达到 0.601,并在六项缺陷定位基准中的五项上取得前三名成绩。

现有的合成图像评估器通常仅给出一个标量质量分数,而无法指出支持该评分的图像区域。我们提出 VIEScore2,一种适用于图像生成与编辑任务的统一评估器,并可选地支持条件图像输入。VIEScore2 将图像表示为 N×N 网格,在单次模型推理中联合预测质量分数与缺陷位置。其文本原生的网格表示为异构的空间监督提供了一个统一接口,并支持可直接验证的后训练目标。我们在涵盖生成与编辑任务的 38K 样本上进行训练,样本分为仅评分、仅定位以及联合监督三类。在监督微调的基础上,我们进一步应用 GRPO 来提升缺陷定位能力,奖励信号结合了单元级 Dice 重叠度、评分准确性与输出格式有效性。一个无参数解析器可将结构化预测结果转换为可读的解释。在主评测集上,VIEScore2 的总体分数 SRCC 为 0.601,而输入条件一致时表现最强的零样本通用视觉语言模型基线 Gemini-3-Flash 仅为 0.491。在缺陷定位方面,VIEScore2 在六项基准中的三项上,以逐图像网格 IoU 指标超越了通用视觉语言模型与专门的空间评估器,并在其中五项上位列前三,涵盖的数据集超出了其训练来源。
查看原文
查看缓存全文

缓存时间: 2026/10/08 12:24

论文页面 - VIEScore2:具备空间定位解释能力的统一图像评估模型

来源:https://huggingface.co/papers/2610.00994 发布于 10月1日

·

由 https://huggingface.co/vinesmsuic 提交

Max Ku (https://huggingface.co/vinesmsuic),发布于 10月8日

摘要

现有的合成图像评估器通常只提供一个标量质量分数,而无法指出支撑该分数的具体图像区域。我们提出 VIEScore2,一个支持可选条件图像输入的统一评估器,可同时用于图像生成和编辑任务。VIEScore2 将图像表示为 N×N 网格,并在单次模型前向传播中联合预测质量分数和缺陷位置。其文本原生的网格表示为异构空间监督提供了统一接口,并支持可直接验证的后训练目标。我们在涵盖纯评分、纯定位及联合监督的 38K 个样本上进行训练,样本横跨生成和编辑任务。在监督微调的基础上,我们进一步应用 GRPO 来改进缺陷定位,奖励函数结合了单元级 Dice 重叠度、分数准确率和输出格式有效性。一个免参数的解析器将结构化预测转换为可读的解释文本。在主测试套件上,VIEScore2 的整体分数 SRCC 达到 0.601,而在相同输入条件下,零样本通用 VLM 基线中表现最强的 Gemini-3-Flash 仅为 0.491。在缺陷定位方面,VIEScore2 在六个基准中的三个上,逐图网格 IoU 超越了通用 VLM 和专用空间评估器,并在其中五个基准上位列前三,包括超出其训练数据来源的数据集。

查看 arXiv 页面 (https://arxiv.org/abs/2610.00994) 查看 PDF (https://arxiv.org/pdf/2610.00994) 项目页面 (https://tiger-ai-lab.github.io/VIEScore2/) GitHub1 (https://github.com/TIGER-AI-Lab/VIEScore2) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.00994)

在你的代理工具中获取此论文:

hf papers read 2610.00994

还没有最新版 CLI?运行:curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型(1个)

Allenda/VIEScore2 Image-Text-to-Text • 9B • 约 10 小时前更新 • 47 • 1 (https://huggingface.co/Allenda/VIEScore2)

引用此论文的数据集(0个)

暂无关联数据集。

在数据集的 README.md 中引用 arxiv.org/abs/2610.00994 即可将此数据集关联到本页面。

引用此论文的 Spaces(1个)

包含此论文的收藏夹(0个)

暂无包含此论文的收藏夹。

将此论文添加到收藏夹 (https://huggingface.co/new-collection) 即可将本页面关联。

相似文章

VISTA: 视图一致的自验证训练用于GUI定位

Hugging Face Daily Papers

VISTA提出了一种用于GUI定位的视图一致自验证训练方法,通过使用多个保留目标的视图改进了基于GRPO的坐标预测,在多个基准测试上实现了持续的精度提升。

GST-Bench:VLMs能否从视频中形成全局空间意识?

Hugging Face Daily Papers

GST-Bench是一个新的VQA基准,用于评估视频理解中的全局空间意识,测试VLMs能否从长时间的第一人称视频中构建连贯的全局场景表示。对22个最先进的VLMs的评估显示,它们与人类之间存在巨大差距,最佳模型得分42.68,而人类为79.08。

SGOCR:一个空间定位的、以OCR为核心的流水线与V1数据集 [P]

Reddit r/MachineLearning

大家好!我一直在独立研究和开发小巧但强大的视觉语言模型(VLM),并注意到视觉数据集中的一个空白——没有一个数据集在教我的模型简单地将文本定位到图像中,而是试图让模型推理文本或场景本身。这促使我投入两周的副项目,创建了SGOCR,一个开源数据集流水线,用于生成空间定位的、以OCR为核心的VQA元组,包含大量丰富的元数据以支持多样化的VLM训练策