标签
OmniPack提出了一种无需训练的全模态大语言模型令牌压缩框架，将LLM前结构化压缩与LLM内任务相关语义精炼相结合，在多个基准上实现了优异的性能-效率权衡。
OmniDelta提出了一种无需训练、技能驱动的框架，用于在OmniLLM的音频和视频模态间分配令牌预算，在保留25%令牌时实现了GPU内存减少22%和1.64倍加速，改善了精度-效率权衡。
Unitree发布UnifoLM-OminiA-0.3，一个用于全身移动操作的单一AI模型，具备实时全模态交互，可实现自主家庭护理与健康任务。
OmniFocus 是一种无需训练、查询引导的令牌压缩方法，用于全模态大语言模型，它独立估计视频和音频的重要性，以保留模态特定的证据同时保持对齐，在低令牌保留比率下实现了显著的推理加速，同时精度损失极小。
本文介绍了PadCaptioner，一个3B参数的全模态密集视频字幕模型，采用并行自回归解码实现高效率和高品质，性能超越7B参数模型。通过利用事件间的弱局部依赖关系，潜在规划机制实现了无损并行生成。
CogniRoute 是一个基于模式引导的专家混合框架，用于社交视频问答，通过认知模式分解和路由感知的强化学习提升了多模态推理能力。在新的 OmniSocialBench 基准上，它相较于基线取得了显著提升。
介绍OmniAgent，一个全模态代理，使用迭代的观察-思考-行动循环与主动感知，实现卓越的长视频理解，在基准测试上优于更大的模型如Qwen2.5-VL-72B。
本文提出MODF-SIR，一个基于轻量级多模态大语言模型的多智能体协作框架，用于社会智能推理。它采用知识蒸馏、长尾事件提取和测试时自适应，以更少的训练数据实现了最先进的结果。
介绍了OmniCap-IF，这是首个用于评估全模态视频字幕生成中指令跟随能力的综合性基准，揭示了格式-内容权衡，并提出了改进的模型和数据集。
TOBench是一个新的基准测试，用于评估AI智能体在真实世界、任务导向的工具使用中的表现，涉及多模态输入和闭环验证。实验表明，像Qwen 3.5 Plus这样的顶级模型仅达到41%的成功率，远低于94%的人类基准，凸显了显著的差距。
SEATS是一种无需训练的阶段自适应Token选择方法，通过逐步剪枝冗余的视觉和音频Token来降低全模态LLM的计算开销，实现了9.3倍FLOPs减少和4.8倍预填充加速，同时保持96.3%的性能。
阿里巴巴Qwen宣布两大重要模型发布：Qwen3-Omni，首个原生端到端全模态AI，统一处理文本、图像、音频和视频；以及Qwen3-Next-80B-A3B，一款超高效MoE模型，每个token激活30亿参数，实现了SOTA性能，推理速度比Qwen3-32B快10倍。
NVIDIA 发布 Nemotron 3 Nano Omni，这是一款新型长上下文多模态 AI 模型，能够以高准确性和高效率处理文档、音频、视频和文本。
# 论文页面 - 超越文本主导：理解全模态大语言模型的模态偏好 来源：[https://huggingface.co/papers/2604.16902](https://huggingface.co/papers/2604.16902) ## 摘要 研究发现，原生全模态大语言模型表现出相对于文本的视觉偏好，模态偏好在模型中后层逐步涌现，并可用于诊断跨模态幻觉。原生[全模态大语言模型](https://huggingfa
OmniGUI引入了一个针对GUI智能体的步骤级基准测试，该测试整合了静态图像、同步音频和视频片段，以模拟真实的智能手机交互。评估显示，当前模型在处理时序和听觉输入方面存在困难，凸显了对全方位模态能力的需求。