标签
MAMHOI 通过动作可供性(affordances)对场景感知的人-物交互生成进行解耦,利用场景条件模型预测可供性,再由可供性条件生成模型合成协调的人-物运动,从而无需配对的人-物-场景训练数据即可生成更符合场景几何、减少穿透的交互运动。
COSMI 是一项关于多物体人机物交互合成的研究,提出了由单物体捕捉合成的 222k 序列 / 275 小时大规模数据集,以及一个 3000 万参数的文本到交互扩散 Transformer,可生成 1 到 5 个物体的交互,并能在未见物体与未见交互组合上泛化。
PAMI 提出一种 Part-Anchored Motion 框架,通过身体部位锚点投票机制和粗到细的生成层级(PamiGen 与 PamiRefiner)实现文本条件下的全身人-物交互生成,在 InterAct 数据集上较此前 SOTA 提升 14.5% 的接触召回率。
HOI-Retarget 介绍了一种以接触为中心的重定向方法,用于将人与物体交互转移到人形机器人上,从而能够从单次演示和单目视频接触中生成大规模运动数据。
HOMIE是一个用于人-物中心视频个性化的框架,它整合了MLLM特征以提高主体保真度和交互模式,达到了最先进的性能。
PhyGenHOI是一个新颖框架,通过将运动扩散模型与物质点方法模拟相结合,利用3D高斯表示生成物理精确的4D人-物交互。
DeVI 提出一种框架,借助混合 3D-2D 跟踪奖励,将文本驱动的合成视频转化为具备物理可信度的灵巧机器人控制,实现对未见物体的零样本泛化。
CoInteract 提出端到端 Diffusion Transformer 框架,联合建模 RGB 外观与 HOI 几何,在零推理开销下生成物理合理、手脸稳定的人-物交互视频。
OneHOI 是一个统一的扩散 Transformer 框架,通过关系建模和结构化注意力机制将人物-物体交互(HOI)生成和编辑整合为单一的条件去噪过程。该方法在 HOI 生成和编辑两项任务上都达到了最先进的性能,并支持多种控制模式。