程序验证的视觉-语言模型自进化

Hugging Face Daily Papers 论文

摘要

本文介绍了VQS,一种用于自进化视觉-语言模型的方法,它使用程序验证从图像中生成和标注问题,显著提高了准确性和模型性能,优于现有基线。

自进化视觉-语言模型在无标注图像生成的问题上进行训练。由于这些问题没有标准答案,先前的方法通过对采样答案进行多数投票或由模型评判来标注它们。在人类评估中,我们发现自进化过程中产生的24%的多数投票标签和18%的模型评判标签是错误的。为了解决这个问题,我们提出了可验证的问答生成用于自进化模型(VQS),它改变了模型评判答案的方式。模型不再对答案进行投票,而是将每个图像解析为结构化记录,如场景图、图表表格或示意图。固定程序然后根据记录编写问题并计算其答案。模型仍然充当视觉检查者,但它只确认程序读取的个别事实,每次只确认一个短声明。这些声明级别的检查选择解析器的训练目标,因此解析器也能在无标签的情况下改进。人类评估者发现94%的VQS答案正确,而多数投票的正确率为76%。在十个基准测试中,VQS在2B、4B和8B规模上将Qwen3-VL的性能提高了最多3.18个百分点,并在每个规模上优于最强的自进化基线。在三个训练轮次中,增益持续增长,在2B上达到3.84个百分点。代码已发布在 https://github.com/ahmedheakl/VQS
查看原文
查看缓存全文

缓存时间: 2026/09/29 04:11

论文页面 - 面向视觉语言模型的程序化验证自我进化

来源:https://huggingface.co/papers/2609.33855

摘要

自我进化视觉语言模型在从未标注图像生成的问题上进行训练。由于这些问题没有标准答案,先前的方法通过抽样答案的多数投票或模型评判来为它们标注。在人类评估中,我们发现自我进化过程中产生的标签中,24%的多数投票标签和18%的模型评判标签是错误的。为解决此问题,我们提出了用于自我进化模型的可验证问答生成方法,该方法改变了模型评判答案的方式。模型不再对某个答案进行投票,而是将每张图像解析为结构化记录,例如场景图、图表表格或示意图。固定的程序然后根据记录生成问题并计算其答案。模型仍作为视觉检查者,但仅确认程序读取的单个事实,每次检查一个短小的主张。这些主张级别的检查选择了解析器的训练目标,因此解析器在没有标签的情况下也能改进。人类评估发现94%的VQS答案正确,而多数投票方法只有76%正确。在十个基准测试中,VQS在2B、4B和8B规模上将Qwen3-VL最高提升了3.18分,并在每个规模上都超越了最强的自我进化基线。在三轮训练中,增益持续增长,在2B规模上达到3.84分。代码已在https://github.com/ahmedheakl/VQS发布。

查看arXiv页面(https://arxiv.org/abs/2609.33855)查看PDF(https://arxiv.org/pdf/2609.33855)项目页面(https://ahmedheakl.github.io/VQS/)GitHub1(https://github.com/ahmedheakl/VQS)添加到收藏集(https://huggingface.co/login?next=%2Fpapers%2F2609.33855)

通过您的代理获取此论文:

hf papers read 2609\.33855

还没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型1

ahmedheakl/VQS 图像-文本-文本• 2B• 约2小时前更新 • 1(https://huggingface.co/ahmedheakl/VQS)

引用此论文的数据集0

无数据集链接此论文

在数据集的README.md中引用arxiv.org/abs/2609.33855以从此页面链接。

引用此论文的Spaces0

无Space链接此论文

在Space的README.md中引用arxiv.org/abs/2609.33855以从此页面链接。

包含此论文的收藏集0

无收藏集包含此论文

将此论文添加到收藏集(https://huggingface.co/new-collection)以从此页面链接。

相似文章

自我演进的视觉提问器

Hugging Face Daily Papers

本文介绍了一种面向视觉语言模型的自我演进框架,使其在没有外部监督的情况下提升提问能力,不仅提高了问题质量,还增强了回答者的表现。

何时该重新思考:为视觉-语言模型学习多视角自验证

Hugging Face Daily Papers

MOTIVE 提出一个让视觉-语言模型自主判断何时信任答案、何时重新思考的框架,通过五个互补的验证视角和学习到的可靠性分数,在五个基准上将 Qwen2.5-VL 模型平均准确率提升约 8 个百分点。

基于合作原则评估视觉语言模型中的视觉问答

arXiv cs.CL

本文评估了 ChatGPT、Claude、Gemini 和 LLaVA 等视觉语言模型如何处理违反格莱斯准则的视觉问答问题,即问题中包含非必要、含混或虚假的修饰语。结果表明,这些模型的性能会有所下降,且其语用推理能力与人类相比存在差异。