WeMM-Video:拓展开源全模态视频理解的前沿
摘要
WeMM-Video 推出了一系列中英双语全模态基础模型(2B/4B/9B/35B-A3B),统一文本、图像、音频和视频,实现音视频联合推理,在全模态视频基准测试中刷新了开源模型的最佳水平,并超越了 Qwen3.5-Omni-Flash 和 Seed2.0-Mini-0428 等闭源模型。
查看缓存全文
缓存时间: 2026/11/20 07:36
论文页面 - WeMM-Video:拓展开源全模态视频理解的前沿
来源:https://huggingface.co/papers/2611.26409 作者:
,
,
,
,
,
,
,
,
,
,
摘要
WeMM-Video 是一个中英双语全模态基础模型系列,将文本、图像、音频和视频处理统一起来,用于联合视听感知与推理,并通过混合思考模式和大规模训练,在开源视频理解领域取得出色成果.
视频理解,尤其是带有配套音频的视频理解,仍是多模态智能的核心挑战之一. 在本报告中,我们介绍 WeMM-Video,这是一个中英双语全模态基础模型 (https://huggingface.co/papers?q=omni-modal%20foundation%20models) 系列,涵盖 2B、4B、9B 和 35B-A3B 版本. WeMM-Video 以联合视听感知 (https://huggingface.co/papers?q=joint%20audio-visual%20perception) 与推理为核心,在混合思考范式 (https://huggingface.co/papers?q=hybrid-thinking%20paradigm) 下统一文本、图像、音频和视频处理,无缝支持用于快速、直接响应的非思考指令模式 (https://huggingface.co/papers?q=non-thinking%20instruct%20mode),以及用于显式逐步推理 (https://huggingface.co/papers?q=explicit%20step-by-step%20reasoning) 的思考模式 (https://huggingface.co/papers?q=thinking%20mode). 这些模型在约 1.2 万亿个 token 的大规模多模态语料库上训练,采用渐进式预训练 (https://huggingface.co/papers?q=progressive%20pre-training) 和多阶段后训练流程 (https://huggingface.co/papers?q=multi-stage%20post-training%20pipeline),后者融合了多教师 OPD (https://huggingface.co/papers?q=multi-teacher%20OPD)、抗重复 MrDPO (https://huggingface.co/papers?q=anti-repetition%20MrDPO) 和专项强化学习 (https://huggingface.co/papers?q=specialist%20RL). 在超过 120 项基准测试中,WeMM-Video 在全模态视频理解 (https://huggingface.co/papers?q=omni-modal%20video%20understanding) 与推理方面表现优异,同时在通用音频、无声视频、图像和文本任务中保持极具竞争力的能力. 具体而言,在全模态视频评测中,我们的旗舰模型 WeMM-Video-35B-A3B 树立了新的开源最佳水平,大幅超越 Qwen3.5-Omni-Flash 和 Seed2.0-Mini-0428 等专有模型,同时缩小了与强大的 Gemini-3.0-Flash 之间的差距;而我们的紧凑型 WeMM-Video-9B 则超越了规模更大的开源模型 Qwen3-Omni-30B-A3B-Instruct. 我们公开发布 WeMM-Video 系列及其评测与复现流程,以推动开源社区的进一步研究与开发.
查看 arXiv 页面 (https://arxiv.org/abs/2611.26409)查看 PDF (https://arxiv.org/pdf/2611.26409)GitHub5 (https://github.com/Tencent/WeMM-Video)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2611.26409)
在你的智能体中获取这篇论文:
hf papers read 2611\.26409
还没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用本论文的模型20
tencent/WeMM-Video-35BA3B 图像文本转文本• 36B• 约 1 小时前更新 • 5 (https://huggingface.co/tencent/WeMM-Video-35BA3B)
tencent/WeMM-Video-2B 图像文本转文本• 3B• 约 1 小时前更新 • 3 (https://huggingface.co/tencent/WeMM-Video-2B)
tencent/WeMM-Video-35BA3B-FP8 图像文本转文本• 36B• 约 1 小时前更新 • 2 (https://huggingface.co/tencent/WeMM-Video-35BA3B-FP8)
tencent/WeMM-Video-9B 图像文本转文本• 10B• 约 1 小时前更新 • 2 (https://huggingface.co/tencent/WeMM-Video-9B)
浏览引用本论文的 20 个模型 (https://huggingface.co/models?other=arxiv:2611.26409)## 引用本论文的数据集0
暂无关联本论文的数据集
在数据集的 README.md 中引用 arxiv.org/abs/2611.26409,即可从此页面链接到该数据集.
引用本论文的 Space0
暂无关联本论文的 Space
在 Space 的 README.md 中引用 arxiv.org/abs/2611.26409,即可从此页面链接到该 Space.
包含本论文的合集1
相似文章
WeMM-Video by Tencent(2B、4B、9B、35B-A3B)
Tencent 在 Hugging Face 上发布了 WeMM-Video 多模态模型家族,提供 2B、4B、9B 和 35B-A3B 版本,以及 FP8、AWQ、GGUF 和 NVFP4 量化版本,便于高效部署。
tencent/WeMM-Embedding 9B/4B/2B
腾讯推出 WeMM-Embedding,这是一系列基于 Qwen3.5 构建的通用多模态嵌入模型,提供 9B、4B 和 2B 尺寸,支持文本、图像、视频和视觉文档的嵌入生成。
WeMM-Embedding: WeChat 多模态嵌入技术报告
WeMM-Embedding 是由腾讯开发的通用多模态嵌入模型系列,在微信应用的检索和推荐任务中达到了最先进的性能,公开发布了 2B、4B 和 9B 参数的变体。
OmniCompass:面向全模态视频定位与理解的综合基准
OmniCompass 提出了一个面向全模态视频定位与理解的整体基准,涵盖视觉-语言与音视频两条评测轨道,包含时间定位、空间定位与问答三类任务,并对50个多模态大模型进行了系统评估。研究发现开源模型在音视频理解上仍落后于闭源模型,精确的时间与空间定位对领先模型而言仍具挑战性。
Ovis-Embedding:推动通用全模态嵌入的前沿
本文介绍了Ovis-Embedding,一种最先进的全模态嵌入模型,它使用共享骨干网络将文本、图像、视频和音频编码到公共表示空间中,在MMEB-v3和MVEB等基准测试上取得了顶级性能。