论文页面 - LLaVA-OneVision-2：迈向下一代感知智能

来源：https://huggingface.co/papers/2605.25979 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

LLaVA-OneVision-2 通过编解码流令牌化、窗口注意力和大规模开放监督，在视频理解、时间定位和跟踪任务上实现了卓越的多模态性能。

我们推出了 LLaVA-OneVision-2（LLaVA-OV-2），这是迄今 LLaVA-OneVision 系列中最强大的视觉语言模型，在众多多模态基准测试中均取得了卓越性能。该模型基于原生 OneVision-Encoder，并引入了窗口注意力机制，在保持原生分辨率的同时实现高效的局部计算。其关键进展在于编解码流令牌化：它将压缩视频视为连续的比特成本流，其中比特成本动态决定自适应时间组，而运动残差线索则选择显著的空间证据，形成紧凑的视觉画布。这种分配方式将有限的令牌预算集中在包含事件的内容上，相比固定图像组，能实现更稳定的长视频令牌压缩。共享的 3D RoPE 进一步将编解码画布、采样帧和图像置于统一的时空坐标系中。此外，我们围绕大规模开放监督构建了 LLaVA-OV-2 的数据和训练栈：约 800 万个重新标注的视频样本用于预训练，一个 400 万样本的空间语料库用于微调。我们还引入了 JumpScore，这是一个针对高频、密集重复运动中细粒度定位的时间定位基准，填补了现有视频评估的空白。LLaVA-OV-2 的一项突出能力是其统一感知，涵盖视频理解、时间定位、空间定位和操作轨迹推理。在 JumpScore 上，LLaVA-OneVision-2-8B 达到了 74.9 mAP，超过 Qwen3-VL-8B（30.1）44.8 个百分点；在相同基准测试的匹配视觉令牌预算下，编解码流输入相比帧采样在时间定位上提升了 9.7 个百分点。在标准基准测试中，LLaVA-OneVision-2-8B 在视频任务上平均领先 Qwen3-VL-8B 4.3 个百分点，在空间任务上领先 5.3 个百分点，在跟踪任务上平均 J&F 领先 15.6 个百分点。

查看 arXiv 页面 (https://arxiv.org/abs/2605.25979)查看 PDF (https://arxiv.org/pdf/2605.25979)项目页面 (https://evolvinglmms-lab.github.io/LLaVA-OneVision-2/)GitHub943 (https://github.com/EvolvingLMMs-Lab/LLaVA-OneVision-2)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.25979)

在您的 agent 中获取这篇论文：

hf papers read 2605\.25979

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本论文的模型0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2605.25979 即可链接到此页面。

引用本论文的数据集0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.25979 即可链接到此页面。

引用本论文的 Spaces0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2605.25979 即可链接到此页面。

包含本论文的合集0

暂无合集包含此论文

将本论文添加到一个合集 (https://huggingface.co/new-collection) 即可链接到此页面。