microsoft/Mage-VL · Hugging Face

来源：https://huggingface.co/microsoft/Mage-VL

Mage-VL

一个高效的编解码器原生流式多模态基础模型

项目页面（https://microsoft.github.io/Mage）
arXiv（https://github.com/microsoft/Mage/blob/main/assets/mage_vl_tech_report.pdf）
GitHub（https://github.com/microsoft/Mage）
Mage-VL（https://huggingface.co/microsoft/Mage-VL）
Mage-ViT（https://huggingface.co/microsoft/Mage-ViT）
许可协议：Apache 2.0（https://www.apache.org/licenses/LICENSE-2.0）

Mage-VL 是一个编解码器原生、主动流式多模态基础模型，专为图像和视频理解而设计，其视觉编码器以紧凑的 4B 规模 从头开始 完全训练。它针对现代 VLM 的 莫拉韦克悖论 —— 在复杂离线推理方面表现出色，但在简单的实时流式感知方面却速度慢且计算量大。不同于将视频解码为均匀采样的帧并通过冻结的网页预训练 ViT 推送密集的块 token 网格，Mage-VL 遵循现代视频编解码器的结构：它将流分离为锚帧 (I 帧) 和预测帧 (P 帧)，保留所有锚块，仅保留编解码器花费比特的预测帧块 —— 即承载真实运动和新细节的区域。这种编解码器对齐的稀疏性将视觉 token 削减了 超过 75%，同时保留了时空上下文，相较于均匀帧采样实现了高达 3.5 倍的墙上时钟推理加速。该系统由两个组件组成：

• Mage-ViT —— 一个从头训练的 Codec-ViT 视觉编码器，通过编解码器衍生的时空重要性来分配 token，采用共享的 16×16 块网格和 3D 旋转位置编码。它是编解码器无关的：同一接口可以接受传统编解码器（H.264/AVC、HEVC/H.265）通过运动向量 + 残差能量输入，或神经编解码器（DCVC-RT）通过其学习的率图输入 —— 无需架构或重新训练更改。
• Qwen3-4B 因果解码器 —— 一个 Qwen3-4B-Instruct-2507 语言主干（唯一预训练组件），通过轻量级两层 MLP 投影器消费 Mage-ViT 的可变长度 token 流，并提供统一接口用于图像、短/长/超长视频以及流式处理。

在此对之上，一个系统 1 与系统 2 双过程设计在单一模型内部增加了主动流式功能：一个轻量级认知门控（系统 1）观察每个滚动编解码器窗口，对常规内容保持静默，仅在需要响应的事件完成时调用完整的 VLM（系统 2）—— 无需多智能体管线。

✨ 亮点

• 编解码器原生 & 从头训练。 整个视觉栈从头训练 —— 无需十亿规模的图像-文本 ViT 初始化。受生物启发的预测补丁机制（16×16 的 I/P 帧）将视觉 token 消耗降低了超过 75%（约 1/8 或更少，相较于密集帧采样），使得模型在相同预算下可以训练长 8 倍的视频。
• 编解码器原生加速。 编解码器 token 化设定了优越的准确率-效率边界 —— 在匹配的准确率下，相较于均匀帧采样实现了高达 3.5 倍的墙上时钟推理加速，并且在大多数视频基准测试中是所有对比模型中最快的（单节点 8×B200）。
• 原生分辨率缩放。 可变分辨率预训练让 Mage-ViT 随着 token 预算单调提升（在 676 个 token 时达到 >96.1% Food-101 / >86.3% ImageNet），而固定分辨率编码器则会饱和或退化。
• 匹配 LLM 的视频增益。 在保持 4B Qwen3 主干冻结、仅替换 ViT 的情况下，Mage-VL 在每一个报告的视频和时间定位基准上均优于 Qwen3-VL-4B —— 在定位密集任务上提升最大（+22.5 QVHighlight、+17.1 ActivityNet、+11.0 VSI-Bench、+24.5 VideoEval-Pro）。
• 同尺寸中的强者。 在静态图像上与 Qwen3-VL-4B 持平，在视频理解和空间智能方面明显领先（+11.0 VSI-Bench、+53.1 CrossPoint、+5.2 EmbSpatial、+22.5 QVHighlight）。
• 主动流式，单一模型。 冻结主干的认知门控实现低延迟、事件门控评论；它在 SoccerNet 流式任务上达到最佳的 TimVal / F1 / ROC-AUC / PR-AUC，并泛化到真实的 2026 年世界杯转播。

📥 模型

单一检查点 microsoft/Mage-VL 是一个统一模型，同时提供图像与视频理解以及主动流式门控 —— 相同的权重既可以回答离线图像/视频问题，也可以驱动事件门控评论。它覆盖 Mage-VL 所有能力：图像理解、帧采样视频、传统 H.264/HEVC 编解码器视频、神经 DCVC-RT 编解码器视频以及事件门控流式。

该仓库捆绑了编解码器处理器、神经编解码器包以及主动门控权重 —— 无需单独的“理解”、“NVC”或“流式”检查点。

我们还额外发布 microsoft/Mage-ViT —— 来自两阶段、从头训练的 ViT 预训练的独立视觉编码器。这仅是 ViT 预训练检查点：它尚未经过与语言模型联合的 VLM 训练。可将其用作数据高效的、编解码器原生的视觉编码器，或作为您自己多模态训练的即插即用 ViT。

🏗️ 架构

Mage-VL 主动流式框架
主动流式框架 —— Mage-ViT 增量地将连续流编码为编解码器原生的视觉特征，事件门控和因果解码器共享这些特征。门控对每个滚动窗口打分，对常规内容保持静默；当门控打开时，解码器输出事件条件响应。

Mage-ViT —— 一个从头训练的 Codec-ViT 视觉编码器。在 16×16 块网格上，它保留所有锚帧（I 帧）块，只保留运动显著的预测帧（P 帧）块，将视觉 token 削减超过 75%，同时通过共享的 3D RoPE 保留时空位置。

Mage-VL —— 一个统一模型，其中投影后的视觉 token 和文本 token 共享一个因果 Qwen3 解码器。静态图像成为单个空间块；视频则成为按时间顺序排列的编解码器窗口。在流式模式下，一个轻量级认知门控在每个滚动窗口上预测 p_speak = g(h_t)（通过事件保留特征提取器维护的循环流式记忆），并在 p_speak ≥ τ 时触发生成；响应由冻结的基础模型根据最近的编解码器片段的局部滑动窗口解码，文本查询可随时注入。

训练 —— 一个渐进式五阶段监督课程（无偏好/RL 后训练），产生一个统一模型：

1. 通过描述的多模态对齐 —— 约 3.5 亿张密集图像描述 + 420 万条短视频描述。
2. 指令微调 + 短时域定位 —— 约 5400 万条图像指令样本 + 340 万条 30–180 秒视频描述。
3. 时域范围扩展 —— 中/长视频（LLaVA-Video、TimeLens、VideoChat-Flash、Molmo2），保持图像 SFT。
4. 编解码器原生长上下文适应 —— 35 万条长视频作为滚动编解码器窗口（最多 384/768 帧）。
5. 主动流式对齐 —— 认知门控在约 330 万条流式样本上微调，视觉编码器和 LLM 保持冻结（仅训练门控）。

五个阶段共同产生一个单一统一模型 Mage-VL，它处理图像理解、离线视频推理和主动流式 —— 不发布单独变体。

管线中的两个部分采用了 AI4AI（AI for AI）范式：(1) 密集重述通过一个智能体闭环运行，其中 GPT-5 评分器对描述打分，Copilot 编码智能体共同设计 prompt 和 工具代码（例如渲染时间戳覆盖），并在人工验证门控下进行 —— 提升所有下游 OCR/文档/图表/感知基准，并启发了 SkillOpt-Lite；(2) 阶段 3 使用基于 AI 的诊断来决定训练哪些视频类别、分辨率和帧数。

📊 性能

图像理解与空间智能 —— 点击展开
各模型性能对比。Mage-VL-4B 和 Qwen3-VL-4B 使用相同的 4B Qwen3 LLM 主干；Phi-4-Multimodal-Instruct（Phi-4-MM, 5.6B）和 Phi-4-Reasoning-Vision（Phi-4-R-V, 15B）作为参考列出。– = 未运行。加粗 = 行内最佳。

视频理解与时域定位 —— 点击展开
加粗 = 行内最佳。

主动流式（SoccerNet）与在线视频（OVO-Bench）—— 点击展开

SoccerNet —— 响应时间（StreamMind 协议，编解码器原生输入，零容忍画布匹配）。加粗 = 列内最佳。

JoyAI 的高 TriggerAcc 来自于在 SoccerNet 严重类别不平衡下几乎到处预测静默，因此在精度敏感的指标上表现不佳；StreamMind 是在 SoccerNet 的分布内训练的，而 Mage-VL 则不是。

OVO-Bench —— 在线视频理解（SimpleStream 近期窗口协议，4 帧 @ 1 fps；无特定流式微调）。Mage-VL 在流式架构中创下了新的整体分数记录。RT-Avg / BT-Avg 分别是实时视觉感知/向后追溯子任务平均值；Overall 是它们的均值。加粗 = 每列最佳模型（Human 是参考上限）。

†HERMES = Qwen2.5-VL-7B + HERMES（4K tokens）。基线结果和表格结构遵循 SimpleStream。

🔬 关键发现

除了模型本身，该报告提炼了七项实验发现，用于高效多模态训练：

1. 数据高效的 tokenizer。 Mage-ViT 仅训练于 5.6 亿张无标签图像 + 1 亿帧视频，却匹配了在数十亿图像-文本对上预训练的 SigLIP2。
2. 可变分辨率预训练单调缩放。 质量随着视觉 token 预算持续提高，而非像固定分辨率编码器那样饱和或退化。
3. 编解码器原生 token 化设定了更好的准确率-效率边界 —— 相较于均匀帧采样实现了高达 3.5 倍的墙上时钟推理加速。
4. 显式 VideoQA SFT 是冗余的。 密集视频描述 + 标准图像 SFT 足以实现强大的零样本 VideoQA。
5. 运动-空间协同。 动态视频训练显著提升了静态 2D/3D 空间推理能力。
6. AI4AI 数据管线。 智能体闭环反馈 + prompt/代码协同设计系统性地提升了描述质量和下游分数（启发了 SkillOpt-Lite）。
7. 用于多模态 RL 的零视觉 SFT。 用纯文本推理 SFT 替代视觉 SFT，可以解锁更强的多模态 RL —— 一条计算高效的路径。

🚀 快速开始

单个检查点 microsoft/Mage-VL 覆盖以下所有能力。

安装

用于离线 Transformers 推理：

pip install "transformers>=5.7" accelerate pillow torch torchvision \
           opencv-python codec-video-prep

基于编解码器的视频推理还需要 ffmpeg 和 ffprobe 在 PATH 中。

示例

本仓库附带两个示例输入：

离线推理

下载 inference.py (https://huggingface.co/microsoft/Mage-VL/blob/main/inference.py)。离线模式通过 AutoModelForCausalLM.from_pretrained 加载检查点，并支持图像、帧采样和两种编解码器引擎：

# 图像
python inference.py --mode offline --image examples/dog.jpg \
    --question "详细描述这张图片。"

> 图片描绘了一只坐在花纹地毯上的狗。这只狗似乎是中型品种，毛发厚实蓬松。它的毛主要是白色，带有黑色和棕色的斑块。狗的耳朵竖立着，表情平静而专注。 [...]

# 视频 — 均匀帧采样
python inference.py --mode offline --video examples/soccer-broadcast.mp4 \
    --video-backend frames --num-frames 32 \
    --question "描述这个视频。"

> 视频开头是一个穿着黑色polo衫的男子，留着短短的头...