位置、类型、原因与重要性：面向文本到图像反馈的结构化缺陷定位

Hugging Face Daily Papers 论文
structured-defect-grounding text-to-image defect-detection vision-language-model diffusion-models alignment dataset

摘要

本文提出结构化缺陷定位（SDG）方法，将文本到图像缺陷建模为（位置、类型、原因、重要性）结构化元组，并利用视觉语言模型（VLM）进行检测，同时构建了包含3万张图像的SDG-30K数据集以及名为BoxFlow-GRPO的诊断到对齐框架。

尽管文本到图像（T2I）模型生成的图像越来越逼真，但仍会出现局部、细微且结构复杂的失败。诊断这些失败需要实例级反馈，回答缺陷发生在何处、属于何种类型、为何存在缺陷以及其对整体图像质量的重要性。虽然近期密集反馈方法已超越标量监督，但其以热图为核心的表示仍将诊断视为像素场回归，难以定位可变数量的缺陷并将语义原因绑定到单个失败上。为解决这一表示瓶颈，我们提出结构化缺陷定位（SDG），将每个缺陷建模为（位置、类型、原因、重要性）元组，从而将T2I诊断转化为结构化集合预测。为使这一公式可训练且可测量，我们引入了SDG-30K——一个包含3万张图像、来自四种现代T2I生成器的框级标注数据集，并配套专用评估协议SDG-Eval。基于这一结构化表示，我们进一步提出诊断到对齐框架，其中视觉语言模型（VLM）充当SDG检测器，而BoxFlow-GRPO将预测的缺陷集转换为由框导出、重要性加权的空间奖励，用于扩散模型对齐。大量实验表明，我们的SDG检测器在结构化缺陷定位上优于领先的专有VLM，同时SDG引导的奖励持续提升T2I对齐效果，并支持局部图像优化。这些结果确立了SDG作为诊断、评估和增强现代生成模型的统一实例级接口。
查看原文
查看缓存全文

缓存时间: 2026/06/12 10:52

论文页面 — Where, What, Why, and Importance: Structured Defect Grounding for Text-to-Image Feedback

来源：https://huggingface.co/papers/2606.06113

摘要

结构化缺陷定位（Structured Defect Grounding, SDG）通过将缺陷建模为结构化集合，并利用视觉语言模型进行检测和基于奖励的对齐，解决了文本到图像模型诊断的局限性。

尽管文本到图像（T2I）模型生成的图像越来越逼真，但它们仍然存在局部、细微且结构复杂的失败。诊断这些失败需要能够回答缺陷发生位置、类型、原因及其对整体图像质量重要性的实例级反馈（https://huggingface.co/papers?q=instance-level%20feedback）。虽然最近的密集反馈方法（https://huggingface.co/papers?q=dense-feedback%20methods）超越了标量监督，但其以热图为中心的表征仍然将诊断视为像素场回归（https://huggingface.co/papers?q=pixel-field%20regression），这使得定位可变基数缺陷（https://huggingface.co/papers?q=variable-cardinality%20defects）以及将语义原因绑定到单个失败变得困难。为了解决这一表征瓶颈，我们提出了结构化缺陷定位（Structured Defect Grounding, SDG）（https://huggingface.co/papers?q=Defect%20Grounding），将T2I诊断建模为结构化集合预测（https://huggingface.co/papers?q=structured%20set%20prediction），将每个缺陷表示为一个 (位置, 类型, 原因, 重要性) 元组。为了使这一方法可训练且可评估，我们引入了 SDG-30K，这是一个包含30K张图像的数据集，具有跨四种现代T2I生成器的框级标注，并附带专门的评估协议 SDG-Eval。基于这种结构化表征，我们进一步提出了一个从诊断到对齐的框架，其中视觉语言模型（Vision-Language Model, VLM）（https://huggingface.co/papers?q=Vision-Language%20Model）作为 SDG 检测器，而 BoxFlow-GRPO 将预测的缺陷集合转换为基于框的、重要性加权的空间奖励（https://huggingface.co/papers?q=spatial%20rewards），用于扩散模型对齐（https://huggingface.co/papers?q=diffusion%20model%20alignment）。大量实验表明，我们的 SDG 检测器在结构化缺陷定位（https://huggingface.co/papers?q=defect%20grounding）上优于领先的商业 VLM，而 SDG 引导的奖励一致地改善了 T2I 对齐，并支持局部图像精化。这些结果确立了 SDG 作为用于诊断、评估和增强现代生成模型的统一实例级接口。

查看 arXiv 页面（https://arxiv.org/abs/2606.06113）查看 PDF（https://arxiv.org/pdf/2606.06113）项目页面（https://huggingface.co/collections/P1n3/sdg）GitHub3（https://github.com/nianbai006/SDG）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.06113）

在你的 agent 中获取本文：

hf papers read 2606\.06113

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型3

P1n3/sdg-detector-sft 图像-文本-到文本• 4B• 更新于1天前 • 27 (https://huggingface.co/P1n3/sdg-detector-sft)

P1n3/sdg-detector-grpo 图像-文本-到文本• 4B• 更新于1天前 • 14 (https://huggingface.co/P1n3/sdg-detector-grpo)

P1n3/boxflow-grpo-flux-lora 文本-到-图像• 更新于1天前 • 16 (https://huggingface.co/P1n3/boxflow-grpo-flux-lora)

引用本文的数据集1

P1n3/SDG-30K 查看器• 更新于1天前 • 30.2k • 5.93k (https://huggingface.co/datasets/P1n3/SDG-30K)

引用本文的 Spaces 0

没有与此论文链接的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2606.06113 即可从本页面链接到它。

包含本文的收藏0

没有包含本文的收藏

将本文添加到一个收藏（https://huggingface.co/new-collection）中即可从本页面链接到它。

相似文章

GAVEL：有依据的描述错误验证与定位

arXiv cs.CL

GAVEL 提出了一个新任务，用于验证、解释和定位图像-文本对中的错误，并附带一个数据集和基准。一个监督基线显示出相对于强闭源模型的改进。

视觉语言模型中的视觉定位安全性

Hugging Face Daily Papers

该论文系统分析了视觉语言模型在结构化输出通道（点/边界框）上的安全对齐缺口，发现模型对以定位形式提出的有害请求的拒绝率比纯文本问答低 31-59 个百分点，并提出一种微调方法显著提升了定位形式的拒绝率。

EviGround-CT：用于验证大语言模型生成的胸部 CT 报告的句子到体积影像定位

arXiv cs.CL

EviGround-CT 提出句子到体积的定位方法，通过为每个描述阳性发现的句子预测三维证据掩膜，核验大语言模型生成的胸部 CT 报告。与类别条件化方法相比，该方法将有证据支持的精确率从 0.263 提升至 0.365。该研究在 CT-RATE 和 ReXGroundingCT 的一个子集上进行了评估，以检测缺乏证据支持的发现。