论文页面 - Ego2Act：评测第一人称视频生成中的目标导向操作

来源: https://huggingface.co/papers/2610.01092

作者:

,

,

,

,

,

,

,

,

,

,

,

摘要

视频生成模型正越来越多地被探索作为具身规划与学习的世界模拟器。要有效实现这一目标，这些模型不仅要生成视觉上美观的帧，还要预测在执行目标导向动作时环境如何动态演化。虽然评测这些能力至关重要，但现有基准主要聚焦于单个短动作或逐步指令，这使得多步物理推理的研究仍然不足，尤其是在第一人称视频生成领域——该领域要求通过规划来模拟正确的执行过程，从而通过完成一系列真实世界操作来实现高层级目标。

我们提出 Ego2Act，一个目标导向的基准，包含来自 110 项日常任务的 2,640 个视频，涵盖不同的物品摆放杂乱程度和多步复杂度。给定一张初始场景图像和一个高层级目标，Ego2Act 评测视频生成模型能否生成手部操作物品以完成任务的真实感第一人称视频。为支持可扩展的评测，我们还提出了 Ego2Act Judge，一个无参考评测管线；与相关基线相比，它在任务完成度与物理合理性评测方面与人类共识达到了更好的对齐。

我们的研究发现，模型生成的模拟往往会跳过或部分执行某些步骤，导致后续步骤缺失依赖状态，进而无法实现目标。此外，模型在细粒度物理动力学上持续表现不佳，尤其是在复杂物品操作和持续世界建模方面。我们希望 Ego2Act 能为推动视频模型走向物理合理的目标导向模拟提供一个严格的测试平台。

查看 arXiv 页面 (https://arxiv.org/abs/2610.01092) 查看 PDF (https://arxiv.org/pdf/2610.01092) 项目页面 (https://ego2act.github.io/) GitHub0 (https://github.com/ego2act/ego2act) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.01092)

在您的 agent 中获取这篇论文：

hf papers read 2610.01092

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型0

暂无模型链接本论文

在模型的 README.md 中引用 arxiv.org/abs/2610.01092，即可从本页面链接该模型。

引用本论文的数据集2

ego2act/ego2act-bench 查看器 • 约 11 小时前更新 • 110 • 231 (https://huggingface.co/datasets/ego2act/ego2act-bench)

ego2act/ego2act-vidgen 查看器 • 约 11 小时前更新 • 18.3k • 77 (https://huggingface.co/datasets/ego2act/ego2act-vidgen)

引用本论文的 Spaces0

暂无 Space 链接本论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.01092，即可从本页面链接该 Space。

包含本论文的合集0

暂无合集包含本论文

将本论文添加到合集 (https://huggingface.co/new-collection)，即可从本页面链接它。