MAMHOI:通过可供性分解场景感知的人与物体交互

Hugging Face Daily Papers 论文

摘要

MAMHOI 通过动作可供性(affordances)对场景感知的人-物交互生成进行解耦,利用场景条件模型预测可供性,再由可供性条件生成模型合成协调的人-物运动,从而无需配对的人-物-场景训练数据即可生成更符合场景几何、减少穿透的交互运动。

在复杂的3D场景中生成逼真的人-物交互(HOI)需要两种互补的能力:推理交互在环境中的可行性,以及合成逼真的人-物运动。然而,这两种能力的监督数据很少能同时大规模获取。人-场景数据集提供了丰富的环境感知运动信息,而人-物数据集则捕捉了细致的交互动态,但配对的人-物-场景数据仍然稀缺。我们提出了MAMHOI,一种以可供性为中介、用于场景感知人-物交互生成的分解方法。MAMHOI通过在场景理解与运动合成之间引入显式的运动可供性接口,将场景感知HOI生成分解为两个阶段:首先,场景条件模型预测交互可以在何处以及以何种方式可行地执行;随后,可供性条件HOI模型生成相应的人-物运动。这种分解使场景理解和交互动态能够从互补的监督来源中学习,而无需配对的人-物-场景数据。在复杂室内环境中的实验表明,MAMHOI减少了物体与场景之间的穿透,同时更好地保持了人-物交互质量,从而生成更逼真、物理上更可行的场景感知交互。项目主页:https://leimingyuan.github.io/MAMHOI-project-page/
查看原文
查看缓存全文

缓存时间: 2026/10/12 14:40

论文页面 - MAMHOI:通过可供性分解场景感知的人–物交互

来源:https://huggingface.co/papers/2610.12416 我们提出了 MAMHOI,一个用于在复杂 3D 环境中生成场景感知人–物交互的框架。我们的核心观察是,这项任务需要两种互补的能力:理解场景中哪些位置能够可行地开展交互,以及合成人与物体应如何协同运动。然而,能够为这两方面提供监督的配对人–物–场景运动数据仍然稀缺。

MAMHOI 通过运动可供性对场景感知的人–物交互(HOI)生成进行分解,以应对这一挑战。一个以场景为条件的模型从多样的室内人–场景交互数据中学习预测与任务相关的可供性,而一个以可供性为条件的生成模型则从不含场景的 HOI 数据中学习协调的人–物运动动力学。预测得到的可供性提供了一种共享表示,将场景理解与交互合成连接起来。

这种分解使 MAMHOI 能够将学到的人–物交互适配到复杂环境中,而无需配对的人–物–场景训练数据。我们的实验表明,生成的运动更符合场景几何结构,显著减少了物体与场景之间的穿透,并保持了人–物交互的质量。

欢迎社区提出评论、问题和反馈!

相似文章

AffordanceWAM:面向机器人操控的可供性感知联合世界-动作建模

Hugging Face Daily Papers

AffordanceWAM 提出一种感知可供性(affordance)的生成式世界-动作模型,利用人类视频中的可供性表征联合预测未来场景与机器人动作,无需人类动作标注即可实现人类到机器人的迁移,并在 RoboCasa、CALVIN 等基准上取得一致提升。

AFUN:迈向功能性理解的可供性基础模型

Hugging Face Daily Papers

AFUN 提出了一种可供性基础模型,该模型从 RGB-D 观测和语言描述中预测功能掩码和 3D 运动曲线,从而能够在多种环境中实现泛化的机器人操作。该模型在多个基准测试上优于基线方法,并且无需微调即可部署到实际任务中。