标签
该论文提出了 OmniLingual-MsASR，一个多语言、多模态、长时序多人说话的自动语音识别基准，用于评测 omni 大模型在音视频跨模态转写中的能力上限，并揭示了当前模型在时序定位、说话人消歧和跨模态协同方面的显著瓶颈。
OmniSeek 是一个智能体框架，它将全模态大语言模型（Omni-LLM）转变为具备原生工具调用能力的主动多轮推理智能体，能够在长上下文中动态检索音频/视觉证据。该框架使用合成的 OmniTraj-170K 轨迹语料库、监督式冷启动以及两阶段可验证奖励强化学习，并引入视听必要性（Audio-Visual Necessity）目标函数，以提升跨模态推理能力。
MCBench是一个新基准，用于评估全模态大语言模型在视觉、音频和文本模态下的安全性。它包含1196个场景，并发现当前模型难以进行跨模态安全推理。