Ex-Omni-2D：具有原生视觉呈现的表现力全模态对话模型

Hugging Face Daily Papers 论文
omni-modal dialogue video-generation speech visual-thought-plan streaming

摘要

Ex-Omni-2D 是一个全模态对话框架，通过视觉思维计划和蒸馏流式视频生成器，生成协调一致的文本、语音和参考条件视频响应，实现了实用的质量-效率权衡。

全模态对话模型能够理解多模态输入并合成语音回复，但其响应在视觉上仍然缺乏具身性。我们提出了 Ex-Omni-2D，一个全模态对话框架，可生成包含文本、个性化语音和参考条件视频的协调响应。给定多模态查询、参考图像和参考音频，模型预测一个结构化的视觉思维计划（VTP），描述场景、情感和动作，随后生成响应文本和原生多码本语音单元。这些单元构成一个共享的声学-时间接口：它们被解码为语音，并与视频帧在线对齐。该接口使得响应和虚拟形象路径能够从异构的语音、对话和虚拟形象视频数据中学习，从而避免了对大规模查询-文本-语音-视频监督的需求。一个全序列视频生成器作为主要教师。为了高效的增量生成，我们进一步将其蒸馏为少步块因果流式学生，其前缀流式机制在连续块之间携带干净的潜表示，以减少累积的后期块退化。通过四步推理，完整的四 GPU 流水线在 400×720/720×400 分辨率下实现了 1.293 的端到端 RTF，提供了一个实用的质量-效率运行点。
查看原文
查看缓存全文

缓存时间: 2026/08/12 08:20

论文页面 - Ex-Omni-2D: Expressive Omni-Modal Dialogue Models with Native Visual Presence

来源：https://huggingface.co/papers/2608.10720

摘要

Ex-Omni-2D 是一种全模态对话框架，通过视觉思维计划和蒸馏流式视频生成器生成协调的文本、语音和视频回复。

全模态对话模型能够理解多模态输入并合成口语回复，但它们的回复在视觉上仍然缺乏形象。我们提出了 Ex-Omni-2D，一种全模态对话框架，可生成由文本、个性化语音和参考条件视频组成的协调回复。给定多模态查询、参考图像和参考音频，模型首先预测一个结构化的视觉思维计划（VTP），描述场景、情感和运动，然后生成回复文本和原生多码本语音单元。这些单元构成一个共享的声学-时间接口：它们被解码为语音并与视频帧在线对齐。该接口使回复和化身路径能够从异构的语音、对话和化身视频数据中学习，而无需大规模查询-文本-语音-视频监督。一个全序列视频生成器作为主要教师模型。为了高效的增量生成，我们进一步将其蒸馏为一个少步骤[块

相似文章

OmniVChat：合成、基准测试与训练原生视听对话

Hugging Face Daily Papers

本文介绍了OmniVChat这一原生视听对话任务，并提出了数据引擎、基准测试和强化学习方法，用于训练和评估全能模型，在合成数据和人类录制数据上展示了性能提升。

Qwen3.8-Omni: 迈向原生全模态智能体

arXiv cs.CL

Qwen3.8-Omni-Flash是一款原生多模态智能体模型，旨在提升真实世界生产力。它通过MoE架构和扩展上下文窗口增强了多模态理解与推理能力，并发布了多模态应用的开源框架。

OmniScript：面向长篇幅电影视频的视听脚本生成

Hugging Face Daily Papers

# 论文页面 - OmniScript：面向长篇幅电影视频的视听脚本生成 来源：[https://huggingface.co/papers/2604.11102](https://huggingface.co/papers/2604.11102) ## 摘要 本文提出了一项新颖的视频到脚本任务，并同步介绍了 OmniScript——一个 80 亿参数的全模态语言模型，该模型通过渐进式流水线技术训练，用于长篇幅叙事理解与时间定位。当前的[多模态大语言模型](https://huggingface.co/papers?

Omni-DuplexEval: 评估实时双工全模态交互

Hugging Face Daily Papers

本文介绍了Omni-DuplexEval，这是一个用于多模态大语言模型中实时双工交互的基准测试和自动评估框架，旨在评估流式场景下的连续响应生成和主动事件检测。