标签
WeMM-Video 推出了一系列中英双语全模态基础模型(2B/4B/9B/35B-A3B),统一文本、图像、音频和视频,实现音视频联合推理,在全模态视频基准测试中刷新了开源模型的最佳水平,并超越了 Qwen3.5-Omni-Flash 和 Seed2.0-Mini-0428 等闭源模型。
X-Dubbing 提出一种联合时间感知语音转文本翻译与视频感知文本转语音的方法,通过语言无关的时间预算实现与源视频同步的跨语言配音,无需配对配音数据即可超越现有基线。
该论文研究多模态大模型(MLLM)中的稀疏检索头在新增音频-视觉模态下的分布与共享机制,并通过排序目标优化这些注意力头,将 Qwen3-VL-8B 在 MMDocIR 上的页面 Recall@1 提升 6.03 个点。
Falcon是一个因果音视频目标说话人提取模型,利用唇部视频在嘈杂、重叠语音环境中分离目标说话人声音,相较于因果AV-TFGridNet参数量减少91.9%,延迟降低11.1倍。论文还提出了RealSSA基准数据集,涵盖仿真和真实录制的声学场景,并包含多种干扰条件。
该论文提出了 OmniLingual-MsASR,一个多语言、多模态、长时序多人说话的自动语音识别基准,用于评测 omni 大模型在音视频跨模态转写中的能力上限,并揭示了当前模型在时序定位、说话人消歧和跨模态协同方面的显著瓶颈。
Omni-Woodpecker提出一种免训练框架,通过证据-先验重平衡来纠正Omni多模态大模型中的跨模态幻觉,在CMM和AVHBench等基准上显著提升性能。
OmniCompass 提出了一个面向全模态视频定位与理解的整体基准,涵盖视觉-语言与音视频两条评测轨道,包含时间定位、空间定位与问答三类任务,并对50个多模态大模型进行了系统评估。研究发现开源模型在音视频理解上仍落后于闭源模型,精确的时间与空间定位对领先模型而言仍具挑战性。
Noiz AI 与香港科技大学联合发布 Helix World,一个基于单张图像的实时交互式视听世界模型,可在单块 NVIDIA H800 GPU 上以 24fps 同时生成可探索的视频场景与空间立体声,代码、checkpoint 和在线 demo 均已开源。
该论文提出了CIViC——一套四道验证关卡的评估协议,用于检验音频条件化视觉预测器是否真正利用了预期的音频信息。在人脸栅格化、合成音频混合和SpeakerVid代理任务上进行评估后,结果表明不同的对照实验支持不同的解释,结论并不一致。
OmniCapBench 提出一个深度结构化的音视频字幕评估框架,将预测目标从自由文本转为可验证的原子评估单元(实体引用、视觉镜头、音频事件),在 786 个密集标注视频上区分多模态大模型的感知错误,揭示前沿模型长时程音视觉推理能力薄弱。
一段演示展示了一款 AI 工具,它将 Vivaldi 的《Winter》转化为流动的视觉轨迹,让旋律的速度、动态与层次清晰可见,证明音乐不仅可以被听到,也可以被“看见”。
OmniReasoning 提出了 OmniReasoningBench 基准、数据引擎(OmniQA)用于生成 SFT 与 RL 训练集,以及一种模态分解自蒸馏方法(MFSD),最终训练出的 30B-A3B 模型在视听联合推理基准上以两位数的领先幅度超越了 Qwen3-Omni-30B-A3B-Thinking。
HelixWorld 是一个实时交互式视听世界模型,视觉场景与基于相机定位的空间立体声在用户交互下协同演化,通过教师-学生蒸馏管线在单块 GPU 上以 24 FPS 运行。该论文还提出了 HelixBench,用于评估合成声场的空间声学一致性。
本文介绍了Omni Demand Understanding (ODU),一个评估多模态AI模型如何从复杂音视频交互中推断用户需求的基准测试,揭示了当前模型中显著的性能差距。
OmniEcho引入了一种空间感知的全模态模型和一个新的基准,用于具身智能体的空间音频-视觉感知和导航,实现了最先进的性能。
Realtime-Venus是一个主动全双工交互系统,通过两个独立训练的9B模型集成了持续感知、对话控制和原生语音生成,在音频和视频基准测试中取得高分。
UniSwap 是一个用于说话视频中联合音视频身份交换的新框架,利用统一的流式音视频扩散 Transformer 来替换外观和嗓音音色,同时保留源内容与动态。
本文分析了针对CHiME-9 MCoRec鸡尾酒会场景的多模态系统,比较了音视频目标语音分离、改进的识别、基于大语言模型的对话分组等设计策略,发现仅语音重叠并不能解释性能差异。
介绍 VGI-Bench,这是一个多模态基准测试,通过 550 个人工策划的问题来评估 12 种不同的视觉和视听技能,旨在暴露当今视频基准测试中的不足。