UESF-Bench:面向统一具身搜索与跟随的基准测试与探测

arXiv cs.AI 论文

摘要

本文介绍了UESF-Bench,一个面向统一具身人类搜索与跟随的大规模基准,并提出了SeekFollow-VLA,一个视觉-语言-动作框架,该框架处理语义引导的探索以及搜索与跟随之间的可靠行为切换。

arXiv:2607.13621v1 Announce Type: new 摘要:语言引导的人类跟随是具身智能体的重要能力,但现有基准通常假设目标人在事件开始时可见。这种设置简化了问题,忽略了一个更现实的需求:智能体通常需要首先找到语言描述的目标,然后在动态环境中持续跟随该目标。尽管最近的研究开始探索人类搜索,但现有设置通常在特定任务场景下评估,并且往往依赖更强的环境先验知识。此外,它们通常将搜索和跟随视为独立任务,仍缺乏用于系统评估的统一基准。为解决这些限制,我们提出了统一具身搜索与跟随基准(UESF-Bench),这是一个面向具身人类搜索与跟随的大规模多样化基准。该基准要求智能体处理语义引导的探索、可靠的行为切换与恢复,以及延迟的身份确认。为此,我们提出了SeekFollow-VLA,一种视觉-语言-动作框架,具有任务驱动的路由机制,用于搜索与跟随之间的潜在阶段推断和转换建模。实验结果表明,SeekFollow-VLA在单人环境和多人环境中均比单头基线和双头基线有显著提升,为统一具身搜索与跟随建立了基线。
查看原文
查看缓存全文

缓存时间: 2026/07/16 04:24

# UESF-Bench:统一具身搜寻与跟随的基准测试与探索
来源:https://arxiv.org/html/2607.13621
Kun Yu¹, Jianhua Yang², Yixiang Chen², Changwei Wang³, Hongyuan Yu⁴, Yan Huang², Fushuo Huo⁶, Ya Jing⁵, Zhumin Chen¹, Keji He¹¹山东大学²中国科学院自动化研究所³齐鲁工业大学⁴小米集团多媒体部⁵北京工业大学⁶香港理工大学

\(2018\)

###### 摘要

语言引导的人类跟随是具身智能体的重要能力,但现有基准通常假设目标人物在回合开始时可见。这种设置简化了问题,忽略了一个更现实的需求:智能体通常需要先找到一个由语言描述的目标,然后在动态环境中持续跟随该目标。虽然近期工作已开始研究人类搜索,但现有设置通常在特定任务场景下进行评估,并往往依赖更强的环境先验知识。此外,它们通常将搜索和跟随视为独立任务,仍缺乏用于系统评估的统一基准。为解决这些局限,我们引入了统一具身搜寻与跟随基准(UESF-Bench),这是一个用于具身人类搜寻和跟随的大规模、多样化基准。该基准要求智能体处理语义引导的探索、可靠的行为切换与恢复,以及延迟的身份确认。为此,我们提出了SeekFollow-VLA,一种视觉-语言-动作框架,采用任务驱动的路由机制进行潜在阶段推理和搜寻与跟随之间的状态转换建模。实验结果表明,SeekFollow-VLA 在单人及多人环境中,相较于单头和双头基线均取得了显著改进,为统一的具身搜寻与跟随任务建立了基线。

具身AI,具身视觉搜寻与跟随,视觉-语言-动作模型,人机交互

††版权:ACM授权††期刊年份:2018††DOI:XXXXXXX.XXXXXXX††ISBN:978-1-4503-XXXX-X/2018/06参阅图注图1:具身视觉搜寻与跟随任务及其核心挑战概览。

## 1. 引言

具身人类搜索 (Park 等人, 2023 (https://arxiv.org/html/2607.13621#bib.bib21); Fung 等人, 2025b (https://arxiv.org/html/2607.13621#bib.bib8)) 和跟随 (Ye 等人, 2025 (https://arxiv.org/html/2607.13621#bib.bib31); Zhang 等人, 2024a (https://arxiv.org/html/2607.13621#bib.bib35); Fung 等人, 2025a (https://arxiv.org/html/2607.13621#bib.bib7); Wang 等人, 2025 (https://arxiv.org/html/2607.13621#bib.bib29); Liu 等人, 2025 (https://arxiv.org/html/2607.13621#bib.bib15)) 是智能机器人的基本任务,并在机器人领域日益受到关注。在服务机器人 (Lee 等人, 2023 (https://arxiv.org/html/2607.13621#bib.bib12); Ostrowski 等人, 2022 (https://arxiv.org/html/2607.13621#bib.bib19); Mishra 等人, 2024 (https://arxiv.org/html/2607.13621#bib.bib18))、老年人辅助 (Li 等人, 2023 (https://arxiv.org/html/2607.13621#bib.bib13); Fortuna 等人, 2024 (https://arxiv.org/html/2607.13621#bib.bib6); Padmanabha 等人, 2024 (https://arxiv.org/html/2607.13621#bib.bib20)) 等实际应用中,通常需要以人为中心的具身交互。在此类场景中,要求具身智能体首先定位一个特定的人,然后无缝过渡到在动态环境中持续跟随。这种“搜索到跟随”的范式代表了更真实的具身交互形式,因为它要求智能体不仅完成多个子任务,还要在不同的阶段之间保持任务连续性和行为一致性。

现有的语言引导人类跟随基准 EVT-Bench (Wang 等人, 2025 (https://arxiv.org/html/2607.13621#bib.bib29)) 在具身人类智能方面取得了重要进展。然而,它依赖于一个在现实世界中常常不现实的关键假设:目标人物初始是可见的。这个假设将智能体限制在学习局部的感知-动作映射,从而限制了其对环境结构和全局空间关系进行建模的能力。在现实场景中,目标通常不会立即出现在智能体的初始视野内。例如,指令“*找到卧室里那个穿着合身黑色皮夹克的金发男子并跟随他*”本质上需要一个初始的搜索阶段,因为在目标被定位之前,智能体无法开始跟随。这表明,仅靠跟随任务不足以捕捉现实场景的核心功能需求。这一观察自然地引出一个更基本的问题:*智能体如何在未探索的环境中自主定位一个目标?*

尽管近期研究已开始探索人类搜索问题,这一研究方向仍处于早期阶段。现有方法 (Fung 等人, 2025b (https://arxiv.org/html/2607.13621#bib.bib8); Park 等人, 2023 (https://arxiv.org/html/2607.13621#bib.bib21)) 通常在简化环境或在额外的结构化先验(如明确的目标线索和候选区域)下进行研究。这些设置限制了它们在开放环境中系统建模复杂搜索过程的能力。此外,缺乏统一的评估基准使得难以全面评估智能体在语义引导探索、空间推理和长时域决策方面的能力。因此,依赖于语义和空间常识在复杂环境中进行主动目标搜索的类人搜索行为,仍未得到充分的建模和系统评估。更重要的是,仅仅将搜索和跟随视为两个独立任务,仍然无法捕捉真实世界交互的连续性。在实际场景中,智能体必须在不确定性下持续做出决策:是继续搜索、何时切换到跟随、以及当目标暂时丢失时是否应恢复搜索或继续跟随。这个过程本质上涉及不同行为模式之间的动态切换和耦合,而不是独立任务的静态组合。因此,核心问题不在于如何独立评估搜索和跟随,而在于如何将它们统一在一个框架内,并系统地评估智能体在连续具身决策过程中进行切换的能力。

为填补这一空白,我们构建了统一具身搜寻与跟随基准(UESF-Bench),这是一个大规模、多样化的基准,覆盖了广泛的难度级别,最终形成了包含143万个具身搜寻与跟随样本的数据集。UESF-Bench 旨在评估在单一融合指令下语言引导的具身搜寻与跟随任务,涵盖单人环境和拥挤的多人环境。据我们所知,UESF-Bench 是首个用于具身环境中统一语言引导人类搜寻与跟随的大规模基准。

在这个统一设定下,智能体必须仅凭一条融合的自然语言指令,在未知环境中自主完成从目标搜索到持续跟随的全过程。如图1 (https://arxiv.org/html/2607.13621#S0.F1) 所示,这一设定引入了三个核心挑战。*首先*,开放环境中的语义-空间搜索要求智能体在目标最初不在视野内时,从语言描述和视觉上下文中主动推断潜在目标区域,并进行目标导向的探索。*其次*,隐式的搜寻到跟随的转换与恢复歧义性要求智能体不仅在首次观察到目标时能可靠地从搜索切换到跟随,还必须在目标暂时丢失时判断是进行局部恢复还是重新开始搜索。*第三*,目标最初不可见,因此智能体在开始时无法建立真实目标的可靠视觉-语义表示。它必须仅凭语言描述在干扰物中识别出正确的人,然后建立持久跟随并保持身份一致性。

为应对这些挑战,我们提出了 SeekFollow-VLA,一个用于单一融合指令下统一具身搜寻与跟随任务的视觉-语言-动作框架。该框架旨在支持开放环境中的语义引导目标搜索,在隐式阶段转换下实现可靠的行为切换,并处理干扰物下的延迟身份确认。具体来说,SeekFollow-VLA 采用任务驱动的路由设计来减少搜寻和跟随行为之间的模式混淆。所提出的路由器支持动态任务推断和转换建模,而不依赖显式的任务分离,从而促进任务不同阶段间更一致的行为。本文的贡献可总结如下:

- • 我们将具身视觉搜寻与跟随定义为一个统一的具身任务,其中智能体必须首先搜索一个语言描述的、初始不在摄像头视野内的目标人物,然后在动态环境中无缝过渡到跟随该人物。
- • 我们首先构建了 UESF-Bench,这是一个用于具身环境中统一语言引导人类搜寻与跟随的大规模、多样化和通用基准。UESF-Bench 包含143万个具身视觉搜寻与跟随样本,覆盖单人及多人场景中的广泛难度级别。
- • 我们提出了 SeekFollow-VLA,一个用于单一融合指令下统一具身搜寻与跟随的视觉-语言-动作框架。通过显式建模动态阶段推断和搜寻到跟随的转换,SeekFollow-VLA 为搜寻和跟随行为之间的模式混淆提供了更有效的解决方案。
- • 在单人及多人环境中的大量实验证明了所提方法的有效性。

## 2. 相关工作

### 2.1. 用于具身任务的 VLA 模型

视觉-语言模型 (VLM) (Liu 等人, 2024a (https://arxiv.org/html/2607.13621#bib.bib14); Zeng 等人, 2025 (https://arxiv.org/html/2607.13621#bib.bib33); Team 等人, 2023 (https://arxiv.org/html/2607.13621#bib.bib28)) 的最新进展推动了视觉-语言-动作 (VLA) 模型 (Zhong 等人, 2025 (https://arxiv.org/html/2607.13621#bib.bib38); Sapkota 等人, 2025 (https://arxiv.org/html/2607.13621#bib.bib24); Yu 等人, 2025 (https://arxiv.org/html/2607.13621#bib.bib32)) 的发展,这些模型为预训练的 VLM 增加了动作生成能力。VLA 模型将感知、语言理解和动作生成集成在一个端到端框架中,显示出通用具身控制的强大潜力 (Kim 等人, 2024 (https://arxiv.org/html/2607.13621#bib.bib11); Black 等人, 2024 (https://arxiv.org/html/2607.13621#bib.bib3); Zitkovich 等人, 2023 (https://arxiv.org/html/2607.13621#bib.bib39))。尽管最近的 VLA 模型能够在统一架构内支持多种任务,但它们在很大程度上依赖于显式的任务分离。具体来说,任务通常通过一对一的指令-任务映射 (Liu 等人, 2025 (https://arxiv.org/html/2607.13621#bib.bib15)),或通过添加特殊任务令牌 (Zhang 等人, 2024a (https://arxiv.org/html/2607.13621#bib.bib35); Wang 等人, 2025 (https://arxiv.org/html/2607.13621#bib.bib29)) 来区分预定义的任务类型。因此,这些任务通常是独立制定和处理的。相比之下,我们的任务要求同一个模型先搜寻一个目标人物,然后在单个融合指令下无缝过渡到人类跟随。这一设定为 VLA 设计提出了新的挑战,因为模型必须在没有任何显式任务边界的情况下管理行为上截然不同的阶段。特别是,当目标人物暂时从视野中消失时,模型必须仅从演变的视觉上下文中推断是应该继续跟随还是返回搜索。

参阅图注图2:UESF-Bench 概览与统计数据。UESF-Bench 包含4800多个多样化的人形化身,以及来自770多个环境的143万多个具身视觉搜寻与跟随样本,涵盖单人及多人设定。

### 2.2. 语言引导的目标搜索

先前的工作主要在邻近的具身环境中研究语言条件的目标搜索,尤其是在物体目标导航中 (Chaplot 等人, 2020 (https://arxiv.org/html/2607.13621#bib.bib5); Garg 等人, 2025 (https://arxiv.org/html/2607.13621#bib.bib9); Yadav 等人, 2023 (https://arxiv.org/html/2607.13621#bib.bib30); Shah 等人, 2023 (https://arxiv.org/html/2607.13621#bib.bib25))。在这些设定中,智能体必须将自然语言与具身探索相结合以定位目标。然而,这些任务主要是以物体为中心的,并没有真正解决特定人物的检索问题。最近,文本驱动的目标人物检索开始受到关注,通常将语言和视觉线索与地图引导及目标相关先验信息结合,以定位目标人物 (Park 等人, 2023 (https://arxiv.org/html/2607.13621#bib.bib21); Fung 等人, 2025b (https://arxiv.org/html/2607.13621#bib.bib8))。虽然这些研究更接近以人为中心的具身搜索,但它们通常只在特定环境和场景实例中得到验证,并且没有提供统一的通用基准用于系统评估。它们的评估设置通常局限于狭窄的任务表述,未能充分反映真实具身交互的多样性和连续性。更重要的是,它们主要关注检索阶段本身,一旦找到目标人物就停止,而没有考虑后续的持续人类跟随需求。因此,它们没有解决智能体应如何从目标搜索过渡到以目标为中心的跟随,也没有解决当目标暂时丢失或重新出现在场景中时,智能体应如何保持连贯的行为。因此,现有工作未能捕捉到完整的具身交互过程,即智能体必须首先识别并定位一个语言描述的目标人物,然后持续跟随该人物。这一局限性使得难以系统研究必须在单一任务表述中耦合语义目标确认、行为转换和长时域目标中心交互的统一策略。这一空白激发了我们构建一个在统一具身设定下共同评估目标搜索、行为转换和持续目标中心交互的基准。

### 2.3. 具身人类跟随

人类跟随 (Zhong 等人, 2024 (https://arxiv.org/html/2607.13621#bib.bib37); Gupta 等人, 2016 (https://arxiv.org/html/2607.13621#bib.bib10); Zhang 等人, 2024a (https://arxiv.org/html/2607.13621#bib.bib35); Fung 等人, 2025a (https://arxiv.org/html/2607.13621#bib.bib7); Wang 等人, 2025 (https://arxiv.org/html/2607.13621#bib.bib29); Liu 等人, 2025 (https://arxiv.org/html/2607.13621#bib.bib15)) 研究具身智能体如何利用不同的感知模态持续跟随一个动态目标。最近的端到端 VLA 基于跟随模型进一步证明了将多模态观测直接映射到动作的有效性。Uni-NaVid (Zhang 等人

相似文章

ESI-Bench:迈向闭环感知-行动的具身空间智能

Hugging Face Daily Papers

介绍了 ESI-BENCH,这是一个基于 OmniGibson 构建的全面具身空间智能基准,涵盖 10 个任务类别和 29 个子类别。实验表明,主动探索显著优于被动方法,失败主要源于行动盲视而非感知,揭示了模型与人类相比的元认知差距。