audio-visual

标签

Cards List
#audio-visual

WeMM-Video:拓展开源全模态视频理解的前沿

Hugging Face Daily Papers ↗ · 3天前 缓存

WeMM-Video 推出了一系列中英双语全模态基础模型(2B/4B/9B/35B-A3B),统一文本、图像、音频和视频,实现音视频联合推理,在全模态视频基准测试中刷新了开源模型的最佳水平,并超越了 Qwen3.5-Omni-Flash 和 Seed2.0-Mini-0428 等闭源模型。

0 人收藏 0 人点赞
#audio-visual

X-Dubbing:时间与视觉约束下的语音到语音翻译

arXiv cs.CL ↗ · 2026-10-26

X-Dubbing 提出一种联合时间感知语音转文本翻译与视频感知文本转语音的方法,通过语言无关的时间预算实现与源视频同步的跨语言配音,无需配对配音数据即可超越现有基线。

0 人收藏 0 人点赞
#audio-visual

更全面地审视 MLLM 的检索头

Hugging Face Daily Papers ↗ · 2026-10-23 缓存

该论文研究多模态大模型(MLLM)中的稀疏检索头在新增音频-视觉模态下的分布与共享机制,并通过排序目标优化这些注意力头,将 Qwen3-VL-8B 在 MMDocIR 上的页面 Recall@1 提升 6.03 个点。

0 人收藏 0 人点赞
#audio-visual

面向真实声学场景的高效流式音视频目标说话人提取

Hugging Face Daily Papers ↗ · 2026-10-23 缓存

Falcon是一个因果音视频目标说话人提取模型,利用唇部视频在嘈杂、重叠语音环境中分离目标说话人声音,相较于因果AV-TFGridNet参数量减少91.9%,延迟降低11.1倍。论文还提出了RealSSA基准数据集,涵盖仿真和真实录制的声学场景,并包含多种干扰条件。

0 人收藏 0 人点赞
#audio-visual

Omnilingual-MsASR:全模态大语言模型的多模态、多语言、长时序多人说话自动语音识别基准评测

arXiv cs.CL ↗ · 2026-10-22 缓存

该论文提出了 OmniLingual-MsASR,一个多语言、多模态、长时序多人说话的自动语音识别基准,用于评测 omni 大模型在音视频跨模态转写中的能力上限,并揭示了当前模型在时序定位、说话人消歧和跨模态协同方面的显著瓶颈。

0 人收藏 0 人点赞
#audio-visual

Omni-Woodpecker:基于证据先验重平衡的Omni大模型幻觉纠正

arXiv cs.AI ↗ · 2026-10-21 缓存

Omni-Woodpecker提出一种免训练框架,通过证据-先验重平衡来纠正Omni多模态大模型中的跨模态幻觉,在CMM和AVHBench等基准上显著提升性能。

0 人收藏 0 人点赞
#audio-visual

OmniCompass:面向全模态视频定位与理解的综合基准

Hugging Face Daily Papers ↗ · 2026-10-13 缓存

OmniCompass 提出了一个面向全模态视频定位与理解的整体基准,涵盖视觉-语言与音视频两条评测轨道,包含时间定位、空间定位与问答三类任务,并对50个多模态大模型进行了系统评估。研究发现开源模型在音视频理解上仍落后于闭源模型,精确的时间与空间定位对领先模型而言仍具挑战性。

0 人收藏 0 人点赞
#audio-visual

Meet Helix World: A Real-Time Audio-Visual World Model (13 minute read)

TLDR AI ↗ · 2026-10-13 缓存

Noiz AI 与香港科技大学联合发布 Helix World,一个基于单张图像的实时交互式视听世界模型,可在单块 NVIDIA H800 GPU 上以 24fps 同时生成可探索的视频场景与空间立体声,代码、checkpoint 和在线 demo 均已开源。

0 人收藏 0 人点赞
#audio-visual

CIViC:音频条件化视觉预测的代理任务证据验证框架

Hugging Face Daily Papers ↗ · 2026-10-11 缓存

该论文提出了CIViC——一套四道验证关卡的评估协议,用于检验音频条件化视觉预测器是否真正利用了预期的音频信息。在人脸栅格化、合成音频混合和SpeakerVid代理任务上进行评估后,结果表明不同的对照实验支持不同的解释,结论并不一致。

0 人收藏 0 人点赞
#audio-visual

OmniCapBench:面向细粒度音视频字幕的深度结构化评估框架

Hugging Face Daily Papers ↗ · 2026-10-08 缓存

OmniCapBench 提出一个深度结构化的音视频字幕评估框架,将预测目标从自由文本转为可验证的原子评估单元(实体引用、视觉镜头、音频事件),在 786 个密集标注视频上区分多模态大模型的感知错误,揭示前沿模型长时程音视觉推理能力薄弱。

0 人收藏 0 人点赞
#audio-visual

@FinanceYF5:第一次真正“看见”Vivaldi的《Winter》。当音符化作流动的视觉轨迹,速度、…

X AI KOLs Following ↗ · 2026-10-02

一段演示展示了一款 AI 工具,它将 Vivaldi 的《Winter》转化为流动的视觉轨迹,让旋律的速度、动态与层次清晰可见,证明音乐不仅可以被听到,也可以被“看见”。

0 人收藏 0 人点赞
#audio-visual

OmniReasoning:推动视听联合推理的极限

Hugging Face Daily Papers ↗ · 2026-09-30 缓存

OmniReasoning 提出了 OmniReasoningBench 基准、数据引擎(OmniQA)用于生成 SFT 与 RL 训练集,以及一种模态分解自蒸馏方法(MFSD),最终训练出的 30B-A3B 模型在视听联合推理基准上以两位数的领先幅度超越了 Qwen3-Omni-30B-A3B-Thinking。

0 人收藏 0 人点赞
#audio-visual

HelixWorld:实时交互式视听世界模型

Hugging Face Daily Papers ↗ · 2026-09-29 缓存

HelixWorld 是一个实时交互式视听世界模型,视觉场景与基于相机定位的空间立体声在用户交互下协同演化,通过教师-学生蒸馏管线在单块 GPU 上以 24 FPS 运行。该论文还提出了 HelixBench,用于评估合成声场的空间声学一致性。

0 人收藏 0 人点赞
#audio-visual

FRCTL

Product Hunt ↗ · 2026-09-21 缓存

FRCTL 是一个浏览器端的引擎,供艺术家创建媒体、进行现场视觉表演,并在社区驱动平台上销售预设。

0 人收藏 0 人点赞
#audio-visual

Omni Demand Understanding: 多模态交互中上下文用户意图推理的基准测试

arXiv cs.CL ↗ · 2026-09-21 缓存

本文介绍了Omni Demand Understanding (ODU),一个评估多模态AI模型如何从复杂音视频交互中推断用户需求的基准测试,揭示了当前模型中显著的性能差距。

0 人收藏 0 人点赞
#audio-visual

OmniEcho: 面向具身智能体的空间音频理解

Hugging Face Daily Papers ↗ · 2026-09-20 缓存

OmniEcho引入了一种空间感知的全模态模型和一个新的基准,用于具身智能体的空间音频-视觉感知和导航,实现了最先进的性能。

0 人收藏 0 人点赞
#audio-visual

Realtime-Venus:具有异步委托的全双工交互系统

Hugging Face Daily Papers ↗ · 2026-09-12 缓存

Realtime-Venus是一个主动全双工交互系统,通过两个独立训练的9B模型集成了持续感知、对话控制和原生语音生成,在音频和视频基准测试中取得高分。

0 人收藏 0 人点赞
#audio-visual

UniSwap:面向说话视频的流式音视频身份交换

Hugging Face Daily Papers ↗ · 2026-08-13 缓存

UniSwap 是一个用于说话视频中联合音视频身份交换的新框架,利用统一的流式音视频扩散 Transformer 来替换外观和嗓音音色,同时保留源内容与动态。

0 人收藏 0 人点赞
#audio-visual

从语音到交互:鸡尾酒会场景中的多模态系统分析

arXiv cs.CL ↗ · 2026-08-11 缓存

本文分析了针对CHiME-9 MCoRec鸡尾酒会场景的多模态系统,比较了音视频目标语音分离、改进的识别、基于大语言模型的对话分组等设计策略,发现仅语音重叠并不能解释性能差异。

0 人收藏 0 人点赞
#audio-visual

@samsja19:很棒的基准

X AI KOLs Following ↗ · 2026-08-08 缓存

介绍 VGI-Bench,这是一个多模态基准测试,通过 550 个人工策划的问题来评估 12 种不同的视觉和视听技能,旨在暴露当今视频基准测试中的不足。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈