论文页面 - HOLI-World：从人类自我经验构建整体世界智能

来源：https://huggingface.co/papers/2610.26549 发布于 10 月 19 日

·

由 lifuguan 提交

leoli (https://huggingface.co/lifuguan) 于 10 月 20 日发布

摘要

HOLI-WORLD 是一个集成生态系统，能够从自我中心（egocentric）录像中自动构建大规模学习资源，以提升机器对动态场景和交互的理解能力。

人类的自我中心经验为学习世界的组织方式及其通过交互如何变化提供了丰富的基础。要在大规模上实现这一潜力，需要将不断增长的录像量转化为学习资源，这些资源需要在不同视角和时间上连接场景结构、物体语义和交互历史，同时降低对昂贵人工标注的依赖。我们提出了 HOLI-WORLD，一个集成生态系统，连接经验采集、世界表征、自动化数据构建、模型学习和独立评估。为了支持大规模学习，HOLI-WORLD-Foundry 结合互补的静态和动态感知，自动构建世界记录，将持久的场景结构、演化中的物体状态与交互历史和支持性观测联系起来。HOLI-WORLD-Data 将来自约 100 个自采场景的这些记录组织为有据可依的学习资源，包括约 80K 个 QA 对，用于训练 HOLI-WORLD-VL-4B。对保留录像的独立人工标注构成了 HOLI-WORLD-Bench，支持对标注质量以及学习到的时空理解进行评估。在 ScanNet、ScanNet++、Aria Digital Twin 和 HOLI-WORLD-Bench 上的实验表明，静态感知和动态跟踪均表现出色，同时使用 HOLI-WORLD-Data 训练显著提升了 HOLI-WORLD-VL-4B 在 HOLI-WORLD-Bench 和 EgoDynamic4D 上的时空推理能力。HOLI-WORLD 为从持续不断的人类经验流中扩展学习资源、推动机器对动态世界的理解提供了实用的基础。

查看 arXiv 页面 · 查看 PDF · 项目页面 · GitHub · 添加到收藏夹

引用此论文的模型：0

没有模型关联此论文。

在模型的 README.md 中引用 arxiv.org/abs/2610.26549，即可从此页面链接到该论文。

引用此论文的数据集：0

没有数据集关联此论文。

在数据集的 README.md 中引用 arxiv.org/abs/2610.26549，即可从此页面链接到该论文。

引用此论文的 Spaces：0

没有 Space 关联此论文。

在 Space 的 README.md 中引用 arxiv.org/abs/2610.26549，即可从此页面链接到该论文。

收录此论文的合集：0

没有合集收录此论文。

将此论文添加到合集，即可从此页面链接到该论文。