标签
WeMM-Video 推出了一系列中英双语全模态基础模型(2B/4B/9B/35B-A3B),统一文本、图像、音频和视频,实现音视频联合推理,在全模态视频基准测试中刷新了开源模型的最佳水平,并超越了 Qwen3.5-Omni-Flash 和 Seed2.0-Mini-0428 等闭源模型。
LiquidAI 的 LFM3-Omni-2B 成为首个可在浏览器中通过 WebGPU 100% 本地运行的全模态模型,无需独立 ASR/TTS,在 M4 Max 上实现约 280 token/s、90ms 首 token 延迟。
Youtu-Parsing-Omni 是一个统一的多模态解析器,用单一编码器和 OmniSchema 将文档、图像、音频与视频编码为时空结构化记录,并通过自蒸馏后训练(OSAD)在 OmniDocBench v1.6 等基准上取得最先进成绩,5B 检查点已开源。
Liquid AI 发布 LFM3-Omni-2B 的 GGUF 版本,支持在 CPU/GPU 上本地推理。该模型可理解文本、图像、视频和音频,并以文本和语音输出,专为设备端使用打造。
本文研究多模态大模型中的检索头机制如何随输入模态扩展,发现跨模态共享的检索头虽不足2%,却对文档理解、空间感知等至关重要,并通过排序目标优化这些注意力头,将Qwen3-VL-8B在MMDocIR上的页面Recall@1提升了6.03个点。
该论文介绍了 MOSAIC,这是一个全模态基准,包含 923 个问题,基于以人物设定为基础、涵盖文本、图像、视频和音频的多会话历史记录,旨在诊断对话智能体在写入、检索、交付和读取各阶段中何处丢失了证据,而非仅仅给出一个排行榜分数。
Liquid AI 发布 LFM3-Omni-2B,这是其 LFM3 系列的首款全模态模型,能够理解文本、图像、视频和音频,并以文本和语音形式作答。该模型专为手机、笔记本等边缘设备设计,仅需 2.2B 参数即可替代独立的 ASR、VLM、LLM 和 TTS 模型。
本文提出 FocusGUI,一个轻量级适配器,能够动态为 GUI 智能体选择相关的多模态证据,防止无关上下文导致的错误累积,从而在不微调主干模型的情况下提升动作准确率。
OmniCompass 提出了一个面向全模态视频定位与理解的整体基准,涵盖视觉-语言与音视频两条评测轨道,包含时间定位、空间定位与问答三类任务,并对50个多模态大模型进行了系统评估。研究发现开源模型在音视频理解上仍落后于闭源模型,精确的时间与空间定位对领先模型而言仍具挑战性。
该论文发现全模态大模型(Omni-LLMs)存在'知道却说不出'(knows-but-cannot-say)的现象,即能感知非文本模态信息却难以在输出中表达。作者提出Token级模态对齐(TMA)指标和OmniCatalyst方法,通过自生成文本补充模态输入,在七个Omni-LLM上平均提升7.29%性能并平衡模态偏好。
Tencent 发布 Youtu-Parsing-Omni,一个 5B 的全能模态解析模型,统一处理文档、图像、图表、音频和视频输入并输出结构化 JSON,在 OmniDocBench v1.6 上取得 96.96 的最佳成绩,并开源模型权重与 vLLM 插件。
该报告介绍了MiMo-V2.6系列全模态模型,通过扩大强化学习计算规模(大批量异步训练、多样化环境、群组智能体评分)推动模型智能走向自我改进,并开源了训练动态、RL环境与框架。
OmniConfess 提出了一种无需训练的推理时方法:在通道层面的证据干预下,对固定的候选响应在 Token 粒度上重新评分,从而暴露并缓解 OmniLLM 中的全模态幻觉。论文还提出了 OmniHalluBench,一个包含 3,540 个样本的基准,涵盖文本、图像、音频和视频任务。
该研究提出了一种面向 Omni-LLM 的以文本为中心的后训练范式:仅用纯文本的推理训练即可带来大部分性能提升(使 Qwen2.5-Omni-7B 的推理得分提升 25.83%,同时节省 56.6% 的 GPU 时长);随后通过减少数据量的原生音视频强化学习来恢复感知能力,仅需约减少 90% 的输入 token,即可保留 93.5% 的推理收益。
OmniReasoning 提出了 OmniReasoningBench 基准、数据引擎(OmniQA)用于生成 SFT 与 RL 训练集,以及一种模态分解自蒸馏方法(MFSD),最终训练出的 30B-A3B 模型在视听联合推理基准上以两位数的领先幅度超越了 Qwen3-Omni-30B-A3B-Thinking。
LEAP 提出了一种面向小时级音视频问答的分块证据检索框架,将定位与推理解耦,使上下文占用与录制时长无关,在 Qwen3-Omni-30B-A3B 基础上提升 4.5-16.8%,并可迁移至 MiniCPM-o 4.5。
Omni-Decision引入了一种针对全模态智能体的证据账本规划方法,以处理噪声多模态观测,在OmniGAIA和WorldSense基准测试中实现了最先进的准确性。
本文介绍了Ovis-Embedding,一种最先进的全模态嵌入模型,它使用共享骨干网络将文本、图像、视频和音频编码到公共表示空间中,在MMEB-v3和MVEB等基准测试上取得了顶级性能。
OmniEcho引入了一种空间感知的全模态模型和一个新的基准,用于具身智能体的空间音频-视觉感知和导航,实现了最先进的性能。
本文通过引入一个综合框架来评估 MiniMax-H3——一种全模态生成模型——在通过多模态输入推理物理世界方面的能力。评估显示,基于视频的决策推理表现最佳,而基于音频的歧义推理则最弱。