论文页面 - ReferTrack: 先指认再跟踪的具身视觉跟踪

来源: https://huggingface.co/papers/2607.20061

摘要

具身视觉跟踪（Embodied Visual Tracking，EVT）要求移动机器人仅凭机载视觉持续跟踪自然语言描述的特定目标。虽然最近的视觉-语言-动作（VLA）策略统一了目标识别和轨迹规划，但其思维链（CoT）推理通常在抽象的空间隐层中运作，难以监督且与显式图像空间检测的对齐较弱。为解决这一问题，我们提出ReferTrack，一种基于单目前向摄像头的先指认再跟踪范式。我们的模型首先从一组带索引的边界框中选择目标，然后根据这个基于图像的决策来解码跟踪航点。为了保留随时间变化的目标运动线索，ReferTrack维护一个滑动窗口队列，存储先前选中的边界框，并通过时间-视角-边界框指示器（TVBI）标记将其几何特征注入视觉历史。我们进一步通过联合训练一个自定义的Refer-QA数据集来增强目标识别能力。在EVT-Bench上，ReferTrack在单目标、干扰和模糊跟踪子任务上分别取得了89.4%、73.3%和74.1%的成功率，达到了最先进的单视角性能——在识别密集型任务上甚至匹配或超越了多个多摄像头基线。最后，在四足机器人和人形机器人上的实际部署验证了其鲁棒的仿真到现实迁移能力。代码已开源在 https://github.com/MedlarTea/referTrack。

查看arXiv页面 (https://arxiv.org/abs/2607.20061)查看PDF (https://arxiv.org/pdf/2607.20061)项目页面 (https://medlartea.github.io/referTrack/)GitHub8 (https://github.com/MedlarTea/referTrack)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.20061)

在你的智能体中获取此论文：

hf papers read 2607.20061

没有最新的命令行接口？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

请在模型README.md中引用arxiv.org/abs/2607.20061以便从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

请在数据集README.md中引用arxiv.org/abs/2607.20061以便从此页面链接。

引用此论文的Space0

没有Space链接此论文

请在Space README.md中引用arxiv.org/abs/2607.20061以便从此页面链接。

包含此论文的收藏0

没有收藏包含此论文

将这篇论文添加到一个收藏 (https://huggingface.co/new-collection)来从此页面链接。