论文页面 - OmniVChat：面向原生音视频对话的合成、基准测试与训练

来源：https://huggingface.co/papers/2609.21465 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

我们定义OmniVChat（OmniVideoChat）为用户与全模态模型之间进行原生音视频对话的任务。在OmniVChat中，全模态模型直接且同步地接收来自用户的音频和视频，并返回文本。用户的查询嵌入在音频和视频中，无需单独的文本问题、外部字幕或语音识别。直接的音视频输入减少了外部延迟和计算量，同时保留了感知线索。然而，OmniVChat的研究面临两个限制：数据可用性和评估。人们使用自有设备录制的对话数据稀缺。此外，一个良好的回复通常需要考虑用户的周围环境、面部表情和附近物体，并且这样的回复可以通过许多不同的方式表达，这使得关键词匹配在评估回复质量时不可靠。智能体系统和视频生成方面的最新进展使得基于理解的生成变得可行，这意味着使用合成的对话进行训练和评估。因此，我们提出了OmniVChat-Studio，一个用于合成单轮和多轮音视频对话的多智能体数据引擎。我们使用合成的对话构建了OmniVChat-Bench，一个评估全模态模型在五个能力类别上基本对话能力的基准测试。我们还提出了OmniVChat-RL，一种强化学习奖励设计，共同针对OmniVChat中回复的正确性、效率和风格。使用OmniVChat-RL在合成对话上训练Qwen3-Omni-Instruct，提高了其在OmniVChat-Bench和人工录制的OmniVChat-Bench-Human上的性能。这些提升验证了奖励设计，并表明在训练和评估中能迁移到真实世界的对话。

查看arXiv页面 (https://arxiv.org/abs/2609.21465) 查看PDF (https://arxiv.org/pdf/2609.21465) GitHub10 (https://github.com/HarlandZZC/OmniVChat) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.21465)

引用此论文的模型0

没有模型链接此论文

在模型README.md中引用 arxiv.org/abs/2609.21465 以从此页面链接它。

引用此论文的数据集1

Harland/OmniVChat Viewer• 约6小时前更新 • 2.8k • 68 • 2 (https://huggingface.co/datasets/Harland/OmniVChat)

引用此论文的Spaces0

没有Space链接此论文

在Space README.md中引用 arxiv.org/abs/2609.21465 以从此页面链接它。

包含此论文的收藏0

没有收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接它。