OmniEcho: 面向具身智能体的空间音频理解

Hugging Face Daily Papers 论文

摘要

OmniEcho引入了一种空间感知的全模态模型和一个新的基准,用于具身智能体的空间音频-视觉感知和导航,实现了最先进的性能。

人类可以轻松地定位声源的方向,并将其与视觉线索结合进行推理,但对于具身智能体来说,这仍然具有挑战性。特别是,如何在具身环境中有效评估和建模空间音频理解仍不清楚。为了解决这一差距,我们引入了OmniEchoBench,这是一个统一的基准,用于空间音频-视觉感知和音频-视觉-语言导航。OmniEchoBench包括六个任务,涵盖197个真实世界的空间音频-视觉场景、2,972个问答对和900个导航样本,使用从30个真实世界环境中收集的一阶环绕声(FOA)音频。为了实现可扩展的训练监督,我们开发了一个可控的空间音频渲染管线。它保持了声源、视觉观察和智能体轨迹之间的几何一致性。在此基础上,我们提出了OmniEcho,一种空间感知的全模态模型。它引入了一个FOA空间编码器以及一个预训练的语义音频路径。大量实验表明,OmniEcho在空间音频-视觉感知上达到了最先进的性能。对于我们的声音引导导航,OmniEcho达到了接近传统视觉-语言导航的性能水平。这些结果表明,空间音频可以作为具身场景推理和导航的有价值信号,同时也突出了细粒度空间定位和距离估计作为重要的开放挑战。
查看原文
查看缓存全文

缓存时间: 2026/09/25 03:44

论文页面 - OmniEcho:面向具身智能体的空间音频理解

来源:https://huggingface.co/papers/2609.23407
发布于 9月20日

#每日论文精选 #2 (https://huggingface.co/papers/date/2026-09-25)
作者:

,

,

,

,

,

,

,

,

,

,

,

摘要

人类可以毫不费力地定位声源方向,并将其与视觉线索结合进行推理,但这对于具身智能体来说仍然具有挑战性。特别是在具身场景中,如何有效评估和建模空间音频理解仍不明确。为解决这一问题,我们推出了 OmniEchoBench,这是一个统一的空间音频-视觉感知与音频-视觉-语言导航基准测试。OmniEchoBench 包含六个任务,涵盖 197 个真实空间音视频场景、2,972 个问答对以及 900 个导航样本,音频格式为一阶 Ambisonics(FOA),数据采集自 30 个真实环境。为实现可扩展的训练监督,我们开发了一个可控的空间音频渲染管线,该管线能保持声源、视觉观测和智能体轨迹之间的几何一致性。基于此,我们提出了 OmniEcho,一个具有空间感知能力的全模态模型。它引入了一个 FOA 空间编码器,并结合了预训练的语义音频通路。大量实验表明,OmniEcho 在空间音频-视觉感知任务上达到了最先进的性能。对于我们的声音引导导航任务,OmniEcho 的表现接近传统的视觉-语言导航水平。这些结果表明,空间音频可以作为具身场景推理和导航的宝贵信号,同时也凸显了细粒度空间定位和距离估算仍是重要的开放挑战。

查看 arXiv 页面 (https://arxiv.org/abs/2609.23407) 查看 PDF (https://arxiv.org/pdf/2609.23407) GitHub7 (https://github.com/PKU-VaLuE-Lab/OmniEcho) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.23407)

在您的智能体中获取此论文:

hf papers read 2609\.23407

没有最新的 CLI?运行 curl \-LsSf https://hf\.co/cli/install\.sh \| bash 获取

引用此论文的模型0

无模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2609.23407,即可从此页面链接。

引用此论文的数据集0

无数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2609.23407,即可从此页面链接。

引用此论文的 Spaces0

无 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2609.23407,即可从此页面链接。

包含此论文的收藏0

无收藏包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接。

相似文章

原生主动感知作为全模态理解的推理方式

Hugging Face Daily Papers

介绍OmniAgent,一个全模态代理,使用迭代的观察-思考-行动循环与主动感知,实现卓越的长视频理解,在基准测试上优于更大的模型如Qwen2.5-VL-72B。

EchoWM:开放且可进入的全模态世界模型

Hugging Face Daily Papers

EchoWM 介绍了一种开放的全模态世界模型,能够生成同步的视频、声音、音乐和语音,并支持连续的6自由度导航,用于可进入的生成媒体。

Omni-Decision: 全模态智能体的证据账本规划

Hugging Face Daily Papers

Omni-Decision引入了一种针对全模态智能体的证据账本规划方法,以处理噪声多模态观测,在OmniGAIA和WorldSense基准测试中实现了最先进的准确性。