论文页面 - InternVideo3：通过多模态上下文推理实现基础模型的智能体化

来源：https://huggingface.co/papers/2606.12195
作者：

、

、

、

、

、

、

、

、

、

摘要

InternVideo3 通过多模态上下文推理和高效注意力机制增强了长程多模态任务，在视频理解基准测试和视频智能体能力上展现出强劲表现。

近年来基础模型的进展已转向涉及多步推理和工具使用的智能体行为。然而，开源工作主要集中在文本主导的场景，长程多模态任务仍未被充分探索。这一差距在需要持续时间理解和迭代交互的视频任务中尤为明显。我们提出了 InternVideo3，这是一个通过多模态上下文推理（MCR）增强此类能力的框架。MCR 将理解视为一个闭环过程，作用于共享且不断演化的上下文，其中包含观察、指令、推理、工具操作和记忆。这便将长视频理解框架为证据积累与验证。为确保效率，我们引入了多模态多头潜在注意力（M^2LA），这是一种保留 token 的重参数化方法，在压缩 KV 缓存状态的同时保留完整的 token 流。我们的分阶段训练包括：继续预训练、短到长监督微调、基于规则的强化学习以及在策略蒸馏。实验表明，InternVideo3 在 Video-MME、MLVU 和 EgoSchema 等基准测试中取得了强劲性能。我们进一步将模型实例化为一个配备检索工具的视频智能体，展示了稳健的基于证据的行为。我们的结果表明，高效的上下文处理和闭环推理对于将开放多模态模型适应到长程视觉驱动的智能体行为至关重要。

查看 arXiv 页面 (https://arxiv.org/abs/2606.12195)
查看 PDF (https://arxiv.org/pdf/2606.12195)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.12195)

在您的智能体中获取此论文：

hf papers read 2606.12195

没有最新 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 1

yanziang/InternVideo3-8B-Instruct 视频-文本到文本 • 9B • 更新于约11小时前 • 105 • 2 (https://huggingface.co/yanziang/InternVideo3-8B-Instruct)

引用此论文的数据集 1

yanziang/InternVideo3_Dataset 查看器 • 更新于约11小时前 • 380k • 28 • 1 (https://huggingface.co/datasets/yanziang/InternVideo3_Dataset)

引用此论文的 Space 0

没有链接此论文的 Space

请在 Space 的 README.md 中引用 arxiv.org/abs/2606.12195，以便在此页面链接它。

包含此论文的收藏集 3