论文页面 - EgoTools：面向真实世界第一人称视频的工具中心推理

来源：https://huggingface.co/papers/2609.39378 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

真实世界的具身任务，从日常活动到专业流程，都要求智能体在物理约束下行动，同时追踪不断变化的物体与任务状态。工具使用是此类任务的核心，因为许多日常与专业活动都是以工具为中介的。理解这些活动需要对可供性（affordance）、手-工具-物体几何关系、程序性进展以及对目标物体的因果效应进行推理。然而，尽管当前多模态视频模型在面向感知的视频任务（如视频描述生成和通用视频问答）上表现出色，但它们在工具中心的具身推理方面仍然能力有限。这一方向的进展受限于真实世界第一人称数据和诊断性基准的缺失。为填补这一空白，我们提出了 EgoTools——首个面向第一人称工具使用理解的综合套件。它由两个互补的组成部分构成：EgoTools-Data，一个包含 100 小时工具中心第一人称录制的大规模数据集，配有同步音频、密集描述、侧重推理的叙述以及补充的 3D 信息；以及 EgoTools-Perception-Bench，一个包含 1,000 个问答对的诊断性基准，涵盖四个赛道，从感知与几何到程序与因果推理，全面覆盖工具使用理解。实验结果表明，当前模型仍难以将工具使用与视觉证据相对齐：Gemini-3.1-Pro 的总体准确率达到 66.9%，但在感知与定位（Perception & Grounding）任务上仅为 51.7%。在评测之外，我们还验证了 EgoTools-Data 作为训练资源的价值。在完整的 1,000 题基准上，遵循严格的源视频划分进行完全监督微调后，Qwen3-VL-8B-Instruct 的性能从 50.0% 提升至 60.9%。这些结果共同确立了 EgoTools 作为真实世界第一人称工具使用理解的统一资源，可同时用于训练和诊断性评测。

查看 arXiv 页面 (https://arxiv.org/abs/2609.39378) 查看 PDF (https://arxiv.org/pdf/2609.39378) 项目页面 (https://ropedia.github.io/egotools/) GitHub (https://github.com/Ropedia/EgoTools) 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.39378)

在你的 agent 中获取本文：

hf papers read 2609.39378

还没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

暂无模型关联本文

在模型的 README.md 中引用 arxiv.org/abs/2609.39378 即可将其链接到本页面。

引用本文的数据集 0

暂无数据集关联本文

在数据集的 README.md 中引用 arxiv.org/abs/2609.39378 即可将其链接到本页面。

引用本文的 Spaces 0

暂无 Space 关联本文

在 Space 的 README.md 中引用 arxiv.org/abs/2609.39378 即可将其链接到本页面。

包含本文的合集 0

暂无合集包含本文

将本文加入合集 (https://huggingface.co/new-collection) 即可将其链接到本页面。