Zooming without Zooming v2：从观察细节到关联证据的可泛化多模态感知

Hugging Face Daily Papers 论文
multimodal-perception data-synthesis vision-language-models reinforcement-learning spatial-reasoning embodied-ai

摘要

本文提出了EvidenceConnect数据合成框架，通过RLVR训练视觉语言模型更好地关联视觉证据，由此得到ZwZ2模型，在空间感知、长上下文理解以及多种下游任务中的通用视觉推理能力均有提升。

多模态感知是多模态智能的基础。其中，空间感知和多模态长上下文理解是支撑具身AI和多模态智能体的两项关键任务。然而，为这些任务合成有针对性的高质量训练数据仍然困难且成本高昂。我们的核心洞察是：这些任务共享一种底层能力，我们称之为**关联证据**（connecting evidence）——即识别相关视觉事实、将其绑定到正确的实体、恢复它们之间的关系，并将其组合成答案。关键在于，针对这种能力合成定向训练数据，远比针对任务本身更容易。为强化这一能力，我们提出了**EvidenceConnect**——一个易于实现的数据合成框架，利用单张图像中相关区域的缩放视图来生成需要视觉证据进行比较、聚合或链式推理的问题。为确保质量，只有当多个独立VLM对参考答案达成一致时才保留该答案；区域消融测试则剔除那些在移除选定区域后答案依然不变的问题。随后，我们使用RLVR在这些数据上训练基础VLM，得到**Zooming without Zooming v2（ZwZ2）**。尽管合成数据并未针对任何下游基准进行定制，ZwZ2仍在细粒度感知和空间感知方面有所提升，在具身空间推理、多模态长上下文理解、多模态智能体任务以及通用视觉推理上也取得了进一步改善。这些结果确立了EvidenceConnect作为监督证据关联的有效框架，并表明强化这种共享能力能够带来更具泛化性的多模态感知。
查看原文
查看缓存全文

缓存时间: 2026/10/28 09:25

论文页面 - Zooming without Zooming v2：从观察细节到连接证据的可泛化多模态感知

来源: https://huggingface.co/papers/2610.37037 作者:

,

,

,

,

,

,

,

,

,

,

,

摘要

EvidenceConnect 通过合成训练数据来强化视觉证据连接能力，从而在多种任务中提升空间感知与多模态推理能力。

多模态感知 (https://huggingface.co/papers?q=Multimodal%20perception) 是多模态智能的基础。其中，空间感知 (https://huggingface.co/papers?q=spatial%20perception) 和多模态长上下文理解 (https://huggingface.co/papers?q=multimodal%20long-context%20understanding) 是支撑具身 AI (https://huggingface.co/papers?q=embodied%20AI) 和多模态智能体的两项关键任务。然而，为这些任务合成有针对性的高质量训练数据仍然困难且成本高昂。我们的关键洞察是：这些任务共享一项底层能力，我们称之为连接证据 (https://huggingface.co/papers?q=connecting%20evidence)——识别相关的视觉事实、将其绑定到正确的实体、恢复它们之间的关系，并将其组合成答案。至关重要的是，针对这项能力合成训练数据远比针对这些任务本身容易得多。为强化该能力，我们提出了 EvidenceConnect (https://huggingface.co/papers?q=EvidenceConnect)，这是一个易于实现的数据合成框架，它利用单张图像中相关区域的放大视图来生成需要比较、聚合或串联视觉证据的问题。为保证质量，只有当独立的 VLM (https://huggingface.co/papers?q=VLMs) 对参考答案达成一致时才予以保留；而区域消融测试则会剔除那些移除选定区域后答案依然成立的问题。随后，我们使用 RLVR (https://huggingface.co/papers?q=RLVR) 在生成的数据上训练基座 VLM (https://huggingface.co/papers?q=VLMs)，得到 Zooming without Zooming v2 (https://huggingface.co/papers?q=Zooming%20without%20Zooming%20v2)（ZwZ2）。尽管合成数据并未针对任何下游基准进行定制，ZwZ2 仍提升了细粒度和空间感知 (https://huggingface.co/papers?q=spatial%20perception) 能力，并在具身空间推理、多模态长上下文理解 (https://huggingface.co/papers?q=multimodal%20long-context%20understanding)、多模态智能体任务以及通用视觉推理 (https://huggingface.co/papers?q=visual%20reasoning) 方面取得了进一步提升。这些结果确立了 EvidenceConnect (https://huggingface.co/papers?q=EvidenceConnect) 作为监督证据连接的有效框架，并表明强化这一共享能力能够带来更具泛化性的多模态感知 (https://huggingface.co/papers?q=multimodal%20perception)。

查看 arXiv 页面 (https://arxiv.org/abs/2610.37037)　查看 PDF (https://arxiv.org/pdf/2610.37037)　项目页面 (https://github.com/inclusionAI/Zooming-without-Zooming-v2)　GitHub2 (https://github.com/inclusionAI/Zooming-without-Zooming-v2)　添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.37037)

引用本文的模型3

inclusionAI/ZwZ2-27B Image-Text-to-Text• 27B• 更新于32分钟前 • 7 • 10 (https://huggingface.co/inclusionAI/ZwZ2-27B)

inclusionAI/ZwZ2-4B Image-Text-to-Text• 5B• 更新于34分钟前 • 9 • 10 (https://huggingface.co/inclusionAI/ZwZ2-4B)

inclusionAI/ZwZ2-9B Image-Text-to-Text• 9B• 更新于33分钟前 • 147 • 9 (https://huggingface.co/inclusionAI/ZwZ2-9B)

引用本文的数据集1

inclusionAI/ZwZ2-RL-VQA Viewer• 更新于约2小时前 • 20.7k • 5 • 2 (https://huggingface.co/datasets/inclusionAI/ZwZ2-RL-VQA)

引用本文的 Spaces2

包含本文的收藏1

相似文章

重新思考隐式视觉推理：将隐式推理锚定于视觉证据

Hugging Face Daily Papers

本文指出了多模态大语言模型隐式视觉推理中的「隐式证据-信用鸿沟」，并提出 ReaLVR，通过对比正确/错误答案以及相关/不匹配图像，为自由运行的隐式轨迹引入视觉证据监督。ReaLVR 在三大模型系列上均优于 LVR 基线（在 Qwen2.5-VL-7B 上五任务平均达到 63.7%），并能稳健地扩展到 2350 亿参数的前沿模型。

检索、整合与综合：空间-语义接地潜层视觉推理

arXiv cs.CL

本文介绍了 RIS，这是一个用于多模态大语言模型的空间-语义接地潜层视觉推理框架，旨在克服信息瓶颈。该框架提出将潜在令牌（tokens）锚定于空间和语义证据之上，在 V* 和 HRBench 等基准测试中展现出性能提升。

精细粒度MLLM感知的区域级策略优化

Hugging Face Daily Papers

Vision-RL²是一种方法，通过区域级强化学习压缩视觉令牌，在不进行全模型微调的情况下，提升多模态大型语言模型在多个基准测试中的精细粒度感知性能。