omni-modal

标签

Cards List
#omni-modal

WeMM-Video:拓展开源全模态视频理解的前沿

Hugging Face Daily Papers ↗ · 2天前 缓存

WeMM-Video 推出了一系列中英双语全模态基础模型(2B/4B/9B/35B-A3B),统一文本、图像、音频和视频,实现音视频联合推理,在全模态视频基准测试中刷新了开源模型的最佳水平,并超越了 Qwen3.5-Omni-Flash 和 Seed2.0-Mini-0428 等闭源模型。

0 人收藏 0 人点赞
#omni-modal

LFM3-Omni-2B 在浏览器中通过 WebGPU 本地运行

Reddit r/LocalLLaMA ↗ · 2026-10-30

LiquidAI 的 LFM3-Omni-2B 成为首个可在浏览器中通过 WebGPU 100% 本地运行的全模态模型,无需独立 ASR/TTS,在 M4 Max 上实现约 280 token/s、90ms 首 token 延迟。

0 人收藏 0 人点赞
#omni-modal

Youtu-Parsing-Omni:一个编码器,一套 Schema,全模态

Hugging Face Daily Papers ↗ · 2026-10-29 缓存

Youtu-Parsing-Omni 是一个统一的多模态解析器,用单一编码器和 OmniSchema 将文档、图像、音频与视频编码为时空结构化记录,并通过自蒸馏后训练(OSAD)在 OmniDocBench v1.6 等基准上取得最先进成绩,5B 检查点已开源。

0 人收藏 0 人点赞
#omni-modal

LiquidAI/LFM3-Omni-2B-GGUF

Reddit r/LocalLLaMA ↗ · 2026-10-27 缓存

Liquid AI 发布 LFM3-Omni-2B 的 GGUF 版本,支持在 CPU/GPU 上本地推理。该模型可理解文本、图像、视频和音频,并以文本和语音输出,专为设备端使用打造。

0 人收藏 0 人点赞
#omni-modal

更全面地探究 MLLM 的检索头

arXiv cs.CL ↗ · 2026-10-26

本文研究多模态大模型中的检索头机制如何随输入模态扩展,发现跨模态共享的检索头虽不足2%,却对文档理解、空间感知等至关重要,并通过排序目标优化这些注意力头,将Qwen3-VL-8B在MMDocIR上的页面Recall@1提升了6.03个点。

0 人收藏 0 人点赞
#omni-modal

MOSAIC:面向对话智能体长期记忆与跨模态推理的全模态基准

arXiv cs.CL ↗ · 2026-10-22 缓存

该论文介绍了 MOSAIC,这是一个全模态基准,包含 923 个问题,基于以人物设定为基础、涵盖文本、图像、视频和音频的多会话历史记录,旨在诊断对话智能体在写入、检索、交付和读取各阶段中何处丢失了证据,而非仅仅给出一个排行榜分数。

0 人收藏 0 人点赞
#omni-modal

LiquidAI/LFM3-Omni-2B

Hugging Face Models Trending ↗ · 2026-10-21 缓存

Liquid AI 发布 LFM3-Omni-2B,这是其 LFM3 系列的首款全模态模型,能够理解文本、图像、视频和音频,并以文本和语音形式作答。该模型专为手机、笔记本等边缘设备设计,仅需 2.2B 参数即可替代独立的 ASR、VLM、LLM 和 TTS 模型。

0 人收藏 0 人点赞
#omni-modal

# 专注型全模态 GUI 智能体

Hugging Face Daily Papers ↗ · 2026-10-19 缓存

本文提出 FocusGUI,一个轻量级适配器,能够动态为 GUI 智能体选择相关的多模态证据,防止无关上下文导致的错误累积,从而在不微调主干模型的情况下提升动作准确率。

0 人收藏 0 人点赞
#omni-modal

OmniCompass:面向全模态视频定位与理解的综合基准

Hugging Face Daily Papers ↗ · 2026-10-13 缓存

OmniCompass 提出了一个面向全模态视频定位与理解的整体基准,涵盖视觉-语言与音视频两条评测轨道,包含时间定位、空间定位与问答三类任务,并对50个多模态大模型进行了系统评估。研究发现开源模型在音视频理解上仍落后于闭源模型,精确的时间与空间定位对领先模型而言仍具挑战性。

0 人收藏 0 人点赞
#omni-modal

全模态大模型知道的比它们说出来的更多

Hugging Face Daily Papers ↗ · 2026-10-12 缓存

该论文发现全模态大模型(Omni-LLMs)存在'知道却说不出'(knows-but-cannot-say)的现象,即能感知非文本模态信息却难以在输出中表达。作者提出Token级模态对齐(TMA)指标和OmniCatalyst方法,通过自生成文本补充模态输入,在七个Omni-LLM上平均提升7.29%性能并平衡模态偏好。

0 人收藏 0 人点赞
#omni-modal

tencent/Youtu-Parsing-Omni · Hugging Face

Reddit r/LocalLLaMA ↗ · 2026-10-09 缓存

Tencent 发布 Youtu-Parsing-Omni,一个 5B 的全能模态解析模型,统一处理文档、图像、图表、音频和视频输入并输出结构化 JSON,在 OmniDocBench v1.6 上取得 96.96 的最佳成绩,并开源模型权重与 vLLM 插件。

0 人收藏 0 人点赞
#omni-modal

MiMo-V2.6:将强化学习推向自我改进

Hugging Face Daily Papers ↗ · 2026-10-08 缓存

该报告介绍了MiMo-V2.6系列全模态模型,通过扩大强化学习计算规模(大批量异步训练、多样化环境、群组智能体评分)推动模型智能走向自我改进,并开源了训练动态、RL环境与框架。

0 人收藏 0 人点赞
#omni-modal

OmniConfess:通过生成 Token 层面的“供词”来缓解全模态幻觉

arXiv cs.CL ↗ · 2026-10-05 缓存

OmniConfess 提出了一种无需训练的推理时方法:在通道层面的证据干预下,对固定的候选响应在 Token 粒度上重新评分,从而暴露并缓解 OmniLLM 中的全模态幻觉。论文还提出了 OmniHalluBench,一个包含 3,540 个样本的基准,涵盖文本、图像、音频和视频任务。

0 人收藏 0 人点赞
#omni-modal

面向全模态推理的以文本为中心的后训练

arXiv cs.CL ↗ · 2026-10-05 缓存

该研究提出了一种面向 Omni-LLM 的以文本为中心的后训练范式:仅用纯文本的推理训练即可带来大部分性能提升(使 Qwen2.5-Omni-7B 的推理得分提升 25.83%,同时节省 56.6% 的 GPU 时长);随后通过减少数据量的原生音视频强化学习来恢复感知能力,仅需约减少 90% 的输入 token,即可保留 93.5% 的推理收益。

0 人收藏 0 人点赞
#omni-modal

OmniReasoning:推动视听联合推理的极限

Hugging Face Daily Papers ↗ · 2026-09-30 缓存

OmniReasoning 提出了 OmniReasoningBench 基准、数据引擎(OmniQA)用于生成 SFT 与 RL 训练集,以及一种模态分解自蒸馏方法(MFSD),最终训练出的 30B-A3B 模型在视听联合推理基准上以两位数的领先幅度超越了 Qwen3-Omni-30B-A3B-Thinking。

0 人收藏 0 人点赞
#omni-modal

LEAP:面向长时音视频感知的分块证据检索

Hugging Face Daily Papers ↗ · 2026-09-30 缓存

LEAP 提出了一种面向小时级音视频问答的分块证据检索框架,将定位与推理解耦,使上下文占用与录制时长无关,在 Qwen3-Omni-30B-A3B 基础上提升 4.5-16.8%,并可迁移至 MiniCPM-o 4.5。

0 人收藏 0 人点赞
#omni-modal

Omni-Decision: 全模态智能体的证据账本规划

Hugging Face Daily Papers ↗ · 2026-09-24 缓存

Omni-Decision引入了一种针对全模态智能体的证据账本规划方法,以处理噪声多模态观测,在OmniGAIA和WorldSense基准测试中实现了最先进的准确性。

0 人收藏 0 人点赞
#omni-modal

Ovis-Embedding:推动通用全模态嵌入的前沿

Hugging Face Daily Papers ↗ · 2026-09-21 缓存

本文介绍了Ovis-Embedding,一种最先进的全模态嵌入模型,它使用共享骨干网络将文本、图像、视频和音频编码到公共表示空间中,在MMEB-v3和MVEB等基准测试上取得了顶级性能。

0 人收藏 0 人点赞
#omni-modal

OmniEcho: 面向具身智能体的空间音频理解

Hugging Face Daily Papers ↗ · 2026-09-20 缓存

OmniEcho引入了一种空间感知的全模态模型和一个新的基准,用于具身智能体的空间音频-视觉感知和导航,实现了最先进的性能。

0 人收藏 0 人点赞
#omni-modal

MiniMax-H3 能否推理物理世界?全模态生成模型评估

Hugging Face Daily Papers ↗ · 2026-09-16 缓存

本文通过引入一个综合框架来评估 MiniMax-H3——一种全模态生成模型——在通过多模态输入推理物理世界方面的能力。评估显示,基于视频的决策推理表现最佳,而基于音频的歧义推理则最弱。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈