程序验证的视觉-语言模型自进化
摘要
本文介绍了VQS,一种用于自进化视觉-语言模型的方法,它使用程序验证从图像中生成和标注问题,显著提高了准确性和模型性能,优于现有基线。
查看缓存全文
缓存时间: 2026/09/29 04:11
论文页面 - 面向视觉语言模型的程序化验证自我进化
来源:https://huggingface.co/papers/2609.33855
摘要
自我进化视觉语言模型在从未标注图像生成的问题上进行训练。由于这些问题没有标准答案,先前的方法通过抽样答案的多数投票或模型评判来为它们标注。在人类评估中,我们发现自我进化过程中产生的标签中,24%的多数投票标签和18%的模型评判标签是错误的。为解决此问题,我们提出了用于自我进化模型的可验证问答生成方法,该方法改变了模型评判答案的方式。模型不再对某个答案进行投票,而是将每张图像解析为结构化记录,例如场景图、图表表格或示意图。固定的程序然后根据记录生成问题并计算其答案。模型仍作为视觉检查者,但仅确认程序读取的单个事实,每次检查一个短小的主张。这些主张级别的检查选择了解析器的训练目标,因此解析器在没有标签的情况下也能改进。人类评估发现94%的VQS答案正确,而多数投票方法只有76%正确。在十个基准测试中,VQS在2B、4B和8B规模上将Qwen3-VL最高提升了3.18分,并在每个规模上都超越了最强的自我进化基线。在三轮训练中,增益持续增长,在2B规模上达到3.84分。代码已在https://github.com/ahmedheakl/VQS发布。
查看arXiv页面(https://arxiv.org/abs/2609.33855)查看PDF(https://arxiv.org/pdf/2609.33855)项目页面(https://ahmedheakl.github.io/VQS/)GitHub1(https://github.com/ahmedheakl/VQS)添加到收藏集(https://huggingface.co/login?next=%2Fpapers%2F2609.33855)
通过您的代理获取此论文:
hf papers read 2609\.33855
还没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型1
ahmedheakl/VQS 图像-文本-文本• 2B• 约2小时前更新 • 1(https://huggingface.co/ahmedheakl/VQS)
引用此论文的数据集0
无数据集链接此论文
在数据集的README.md中引用arxiv.org/abs/2609.33855以从此页面链接。
引用此论文的Spaces0
无Space链接此论文
在Space的README.md中引用arxiv.org/abs/2609.33855以从此页面链接。
包含此论文的收藏集0
无收藏集包含此论文
将此论文添加到收藏集(https://huggingface.co/new-collection)以从此页面链接。
相似文章
自我演进的视觉提问器
本文介绍了一种面向视觉语言模型的自我演进框架,使其在没有外部监督的情况下提升提问能力,不仅提高了问题质量,还增强了回答者的表现。
何时该重新思考:为视觉-语言模型学习多视角自验证
MOTIVE 提出一个让视觉-语言模型自主判断何时信任答案、何时重新思考的框架,通过五个互补的验证视角和学习到的可靠性分数,在五个基准上将 Qwen2.5-VL 模型平均准确率提升约 8 个百分点。
基于合作原则评估视觉语言模型中的视觉问答
本文评估了 ChatGPT、Claude、Gemini 和 LLaVA 等视觉语言模型如何处理违反格莱斯准则的视觉问答问题,即问题中包含非必要、含混或虚假的修饰语。结果表明,这些模型的性能会有所下降,且其语用推理能力与人类相比存在差异。
SIMIT:通过测试时想象实现自我改进的视觉语言模型
SIMIT 是一种测试时自我改进框架,视觉语言模型通过想象生成针对特定查询的练习数据,无需外部标注,即可在 17 项基准测试中相较于 BAGEL-7B 实现最高 +7.20% 的平均相对提升。
Qwen-VLA:统一跨任务、环境与机器人具身形态的视觉-语言-动作建模
Qwen-VLA是一个面向具身决策的统一视觉-语言-动作模型,整合了不同机器人平台上的操作、导航与轨迹预测。它采用基于DiT的动作解码器和具身感知提示条件,实现了强性能与分布外泛化。