论文主页 - CollabVR：利用视觉语言模型和视频生成模型进行协作视频推理

来源：https://huggingface.co/papers/2605.08735

摘要

一种闭环框架在步骤级别上将视觉语言模型与视频生成模型协作整合，通过实现视频生成过程中的实时故障检测与纠正，从而提升视觉推理能力。

最近的“视频思维”（Thinking with Video）方法使用视频生成模型（Video Generation Models, VGMs）进行视觉推理，其通过生成时间上连贯的帧链（Chain-of-Frames）作为推理产物。然而，即使是强大的 VGMs，在目标导向任务上也表现出两种反复出现的故障模式：多步骤任务中的长程漂移（long-horizon drift）以及累积放大的中段片段模拟错误（mid-clip simulation errors）。这两者都源于 VGM 缺乏基于其短程视觉先验的显式推理能力，而这一角色本应由视觉语言模型（Vision-Language Models, VLMs）自然填补，但 VLM 的介入时机并非显而易见：前置规划会在任何帧生成之前做出承诺，而针对整个视频的事后批评则干预过晚。我们提出了 VLM-VGM 协作视频推理（CollabVR），这是一个闭环框架，在步骤粒度上将 VLM 与 VGM 耦合：VLM 规划立即执行的下一步动作，检查 VGM 生成的片段，并将验证器的诊断结果直接折叠到下一个动作提示中，以修复检测到的故障。在 Gen-ViRe 和 VBVR-Bench 基准测试中，与匹配计算量的单次推理、Pass@k 以及先前的测试时扩展基线相比，CollabVR 提升了开源和闭源 VGMs 的性能，在最具挑战性的任务上增益最大。它还在经过推理微调的 VGM 基础上带来了进一步的改进，表明步骤级别的 VLM 监督与面向推理的微调是正交且可叠加的。我们在项目主页提供了视频样本和额外的定性结果：https://joow0n-kim.github.io/collabvr-project-page。

查看 arXiv 页面 (https://arxiv.org/abs/2605.08735) 查看 PDF (https://arxiv.org/pdf/2605.08735) 项目主页 (https://joow0n-kim.github.io/collabvr-project-page/) 添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2605.08735)

引用此论文模型 0

没有链接此论文的模型

在模型 README.md 中引用 arxiv.org/abs/2605.08735 即可从此页面建立链接。

引用此论文的数据集 0

没有链接此论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2605.08735 即可从此页面建立链接。

引用此论文的应用空间（Spaces） 0

没有链接此论文的应用空间

在应用空间 README.md 中引用 arxiv.org/abs/2605.08735 即可从此页面建立链接。

包含此论文的合集 0

没有包含此论文的合集

将此论文添加到合集 (https://huggingface.co/new-collection) 即可从此页面建立链接。