OmniEcho: 面向具身智能体的空间音频理解
摘要
OmniEcho引入了一种空间感知的全模态模型和一个新的基准,用于具身智能体的空间音频-视觉感知和导航,实现了最先进的性能。
查看缓存全文
缓存时间: 2026/09/25 03:44
论文页面 - OmniEcho:面向具身智能体的空间音频理解
来源:https://huggingface.co/papers/2609.23407
发布于 9月20日
#每日论文精选 #2 (https://huggingface.co/papers/date/2026-09-25)
作者:
,
,
,
,
,
,
,
,
,
,
,
摘要
人类可以毫不费力地定位声源方向,并将其与视觉线索结合进行推理,但这对于具身智能体来说仍然具有挑战性。特别是在具身场景中,如何有效评估和建模空间音频理解仍不明确。为解决这一问题,我们推出了 OmniEchoBench,这是一个统一的空间音频-视觉感知与音频-视觉-语言导航基准测试。OmniEchoBench 包含六个任务,涵盖 197 个真实空间音视频场景、2,972 个问答对以及 900 个导航样本,音频格式为一阶 Ambisonics(FOA),数据采集自 30 个真实环境。为实现可扩展的训练监督,我们开发了一个可控的空间音频渲染管线,该管线能保持声源、视觉观测和智能体轨迹之间的几何一致性。基于此,我们提出了 OmniEcho,一个具有空间感知能力的全模态模型。它引入了一个 FOA 空间编码器,并结合了预训练的语义音频通路。大量实验表明,OmniEcho 在空间音频-视觉感知任务上达到了最先进的性能。对于我们的声音引导导航任务,OmniEcho 的表现接近传统的视觉-语言导航水平。这些结果表明,空间音频可以作为具身场景推理和导航的宝贵信号,同时也凸显了细粒度空间定位和距离估算仍是重要的开放挑战。
查看 arXiv 页面 (https://arxiv.org/abs/2609.23407) 查看 PDF (https://arxiv.org/pdf/2609.23407) GitHub7 (https://github.com/PKU-VaLuE-Lab/OmniEcho) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.23407)
在您的智能体中获取此论文:
hf papers read 2609\.23407
没有最新的 CLI?运行 curl \-LsSf https://hf\.co/cli/install\.sh \| bash 获取
引用此论文的模型0
无模型关联此论文
在模型的 README.md 中引用 arxiv.org/abs/2609.23407,即可从此页面链接。
引用此论文的数据集0
无数据集关联此论文
在数据集的 README.md 中引用 arxiv.org/abs/2609.23407,即可从此页面链接。
引用此论文的 Spaces0
无 Space 关联此论文
在 Space 的 README.md 中引用 arxiv.org/abs/2609.23407,即可从此页面链接。
包含此论文的收藏0
无收藏包含此论文
将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接。
相似文章
原生主动感知作为全模态理解的推理方式
介绍OmniAgent,一个全模态代理,使用迭代的观察-思考-行动循环与主动感知,实现卓越的长视频理解,在基准测试上优于更大的模型如Qwen2.5-VL-72B。
EchoWM:开放且可进入的全模态世界模型
EchoWM 介绍了一种开放的全模态世界模型,能够生成同步的视频、声音、音乐和语音,并支持连续的6自由度导航,用于可进入的生成媒体。
LatentOmni:通过统一视听潜在推理重新思考全模态理解
LatentOmni提出了一种用于视听推理的统一潜在空间,避免了基于文本的思维链带来的信息损失。在视听推理基准测试中,它在开源模型中达到了最先进的性能。
Ex-Omni-2D:具有原生视觉呈现的表现力全模态对话模型
Ex-Omni-2D 是一个全模态对话框架,通过视觉思维计划和蒸馏流式视频生成器,生成协调一致的文本、语音和参考条件视频响应,实现了实用的质量-效率权衡。
Omni-Decision: 全模态智能体的证据账本规划
Omni-Decision引入了一种针对全模态智能体的证据账本规划方法,以处理噪声多模态观测,在OmniGAIA和WorldSense基准测试中实现了最先进的准确性。