VideoNexus:超越推理上下文的视频感知

Hugging Face Daily Papers 论文

摘要

VideoNexus 是一个免训练框架,将视频细节感知与证据驱动的规划推理分离,由感知子代理返回紧凑的时间锚定证据,在长视频基准上以更低成本取得更高准确率。

理解长视频需要定位证据、辨析视觉细节,并将观察整合为答案。即使相关证据存在,在冗长密集的视觉序列中执行这些操作也会同时加重感知与推理的负担。视频智能体支持选择性检视,但将帧回传给规划器仍会在其推理上下文中不断累积视觉信息。将感知任务下放可减轻这一负担,但稀疏采样可能遗漏关键细节,而逐帧描述又会使上下文持续膨胀。我们提出 VideoNexus,一个免训练框架,将细粒度视频感知与基于证据的规划推理分离开来。规划器决定在哪里检视、需要辨析什么以及采样密度。感知子代理在独立上下文中处理原始音视频,并返回紧凑且带时间锚定的证据,供迭代搜索与验证使用。在规划与感知均使用 Gemini 3.8 Flash 的情况下,VideoNexus 在完整 LVBench 上达到 88.6% 的准确率,分别比同骨干模型的静态输入方式和内置智能体处理方式高出 3.6 和 1.1 个百分点,而其实测 API 成本仅为后者的 44%。在配对的 LVBench 子集消融实验中,规划器输入更少而准确率更高。以 Kimi K3 作为共享骨干模型时,在我们的评估中 VideoNexus 比官方 Video-GAIA ReAct 框架高出 8.5 个百分点。这些结果支持以紧凑的证据交换来结合细致观察与高效的规划推理。
查看原文
查看缓存全文

缓存时间: 2026/11/19 03:41

论文页面 - VideoNexus:超越推理上下文的视频感知

来源:https://huggingface.co/papers/2611.21392

摘要

VideoNexus 将细粒度的视频感知与基于证据的规划和推理分离,通过感知子智能体返回紧凑的时间定位证据,在长视频基准上以更低成本实现更高准确率。

理解长视频需要定位证据、辨析视觉细节,并将观察结果整合为答案。即使相关证据存在,在冗长而密集的视觉序列中执行这些操作,也会同时加重感知与推理的负担。视频智能体(Video agents)支持选择性检视,但将帧返回给规划器(planner)仍会在其推理上下文中不断积累视觉信息。委托感知任务可以减轻这一负担,然而稀疏采样可能遗漏关键细节,而逐帧描述则会导致上下文持续膨胀。我们提出 VideoNexus,一个免训练(training-free)框架,将细粒度的视频感知与基于证据的规划和推理分离。规划器控制在何处检视、解析什么内容以及采样密度。感知子智能体(Perception sub-agents)在独立上下文(independent contexts)中处理原生音视频(native audio-video),返回紧凑的、时间定位的证据(temporally grounded evidence),用于迭代式搜索与验证(iterative search and verification)。使用 Gemini 3.8 Flash 同时进行规划与感知时,VideoNexus 在完整 LVBench 上达到 88.6% 的准确率,比同一骨干模型的静态摄取(static ingestion)和内置智能体处理(built-in agentic processing)分别高出 3.6 和 1.1 个百分点,而 API 成本仅为后者的 44%。在配对的 LVBench 子集消融实验(ablation)中,规划器输入更少且准确率更高。以 Kimi K3 作为共享骨干(shared backbone)时,VideoNexus 在我们的评估中比官方 Video-GAIA ReAct 框架高出 8.5 个百分点。这些结果支持通过紧凑的证据交换(compact evidence exchange)将细致观察与高效规划和推理相结合。

查看 arXiv 页面 (https://arxiv.org/abs/2611.21392) 查看 PDF (https://arxiv.org/pdf/2611.21392) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2611.21392)

在你的智能体中获取此论文:

hf papers read 2611.21392

还没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

暂无模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2611.21392,即可从此页面链接到该论文。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2611.21392,即可从此页面链接到该论文。

引用此论文的 Spaces 0

暂无 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2611.21392,即可从此页面链接到该论文。

包含此论文的收藏集 0

暂无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面链接到该论文。

相似文章

Less from More:从稠密参考中强化稀疏视频推理

Hugging Face Daily Papers

SAVER 提出了一种稠密到稀疏(dense-to-sparse)的强化后训练框架,利用稠密视频视图作为训练时参考来提升稀疏帧下的视频推理能力,仅用 1,250 个时序定位样本即可在多个视频 QA 基准上匹配或超越使用更多帧的 Qwen3.5 基线。

跨越时空的视觉化思考:面向视频分割的接地推理

Hugging Face Daily Papers

TCoVP 引入了时空绑定的视频推理链(Temporal Chain of Video Primitives),将实体引用与带时间戳的空间证据相关联,用于视频推理分割任务,并通过 SFT 与链对齐强化学习数据集在多个基准上取得了提升。

EvaOmni:一个证据接地的音视频推理基准

Hugging Face Daily Papers

EvaOmni 提出了一个证据接地的音视频推理基准,包含 392 个视频和 1,027 个人工标注问答对,要求模型同时返回答案与证据区间,并提出 Coverage Grounded Score 与 Bottleneck Grounded Score 评估推理链;Gemini3.7-Flash 表现最佳,但复杂推理层面的接地定位仍明显不足。

VLX-VR:一种智能体感知的视频推理模型

arXiv cs.CL

VLX-VR是一种智能体感知的视频推理模型,它使用思考-记忆-观察循环和强化学习来自适应地收集证据,在MINERVA基准测试中达到了最先进的性能。

VideoKR:面向知识和推理密集型视频理解

Hugging Face Daily Papers

VideoKR 引入了一个大规模视频推理数据集和基准,旨在通过专家领域内容和人机协同的示例生成,增强知识密集型视频理解。该数据集包含 31.5万个视频推理示例,覆盖 14.5万个专家领域视频。