MAMHOI:通过可供性分解场景感知的人与物体交互
摘要
MAMHOI 通过动作可供性(affordances)对场景感知的人-物交互生成进行解耦,利用场景条件模型预测可供性,再由可供性条件生成模型合成协调的人-物运动,从而无需配对的人-物-场景训练数据即可生成更符合场景几何、减少穿透的交互运动。
查看缓存全文
缓存时间: 2026/10/12 14:40
论文页面 - MAMHOI:通过可供性分解场景感知的人–物交互
来源:https://huggingface.co/papers/2610.12416 我们提出了 MAMHOI,一个用于在复杂 3D 环境中生成场景感知人–物交互的框架。我们的核心观察是,这项任务需要两种互补的能力:理解场景中哪些位置能够可行地开展交互,以及合成人与物体应如何协同运动。然而,能够为这两方面提供监督的配对人–物–场景运动数据仍然稀缺。
MAMHOI 通过运动可供性对场景感知的人–物交互(HOI)生成进行分解,以应对这一挑战。一个以场景为条件的模型从多样的室内人–场景交互数据中学习预测与任务相关的可供性,而一个以可供性为条件的生成模型则从不含场景的 HOI 数据中学习协调的人–物运动动力学。预测得到的可供性提供了一种共享表示,将场景理解与交互合成连接起来。
这种分解使 MAMHOI 能够将学到的人–物交互适配到复杂环境中,而无需配对的人–物–场景训练数据。我们的实验表明,生成的运动更符合场景几何结构,显著减少了物体与场景之间的穿透,并保持了人–物交互的质量。
欢迎社区提出评论、问题和反馈!
相似文章
AffordanceWAM:面向机器人操控的可供性感知联合世界-动作建模
AffordanceWAM 提出一种感知可供性(affordance)的生成式世界-动作模型,利用人类视频中的可供性表征联合预测未来场景与机器人动作,无需人类动作标注即可实现人类到机器人的迁移,并在 RoboCasa、CALVIN 等基准上取得一致提升。
PhyGenHOI: 物理感知的动态人-物交互4D生成
PhyGenHOI是一个新颖框架,通过将运动扩散模型与物质点方法模拟相结合,利用3D高斯表示生成物理精确的4D人-物交互。
AFUN:迈向功能性理解的可供性基础模型
AFUN 提出了一种可供性基础模型,该模型从 RGB-D 观测和语言描述中预测功能掩码和 3D 运动曲线,从而能够在多种环境中实现泛化的机器人操作。该模型在多个基准测试上优于基线方法,并且无需微调即可部署到实际任务中。
HarmoHOI: 协调外观与3D运动的多视角手物交互合成
HarmoHOI是一个统一扩散框架,联合生成同步的多视角手物交互视频和全局对齐的3D点轨迹,在视觉质量、运动合理性和多视角几何一致性方面取得了最先进的性能。
CoInteract:通过空间结构化协同生成实现物理一致的人-物交互视频合成
CoInteract 提出端到端 Diffusion Transformer 框架,联合建模 RGB 外观与 HOI 几何,在零推理开销下生成物理合理、手脸稳定的人-物交互视频。