PAMI:面向文本到人-物交互生成的部位锚定运动框架

Hugging Face Daily Papers 论文

摘要

PAMI 提出一种 Part-Anchored Motion 框架,通过身体部位锚点投票机制和粗到细的生成层级(PamiGen 与 PamiRefiner)实现文本条件下的全身人-物交互生成,在 InterAct 数据集上较此前 SOTA 提升 14.5% 的接触召回率。

基于文本的全身人-物交互(HOI)生成要求合成与输入文本相匹配的人体运动和物体轨迹,同时在时间上保持精确协调。大多数方法将人体和物体表示为独立的轨迹,并预测全局的人-物耦合关系。然而,隐式地学习这种复杂的、动态变化的关系,往往会导致物体漂移、接触遗漏和穿透等问题。我们提出了 PAMI,一个用于交互生成的部位锚定运动框架。受经典 Hough 变换的启发,我们的核心思想是通过让身体部位锚点投票来定位物体运动:我们将物体运动表达为相对于多个身体部位锚点的形式,并使用 PamiVAE 学习一个交互潜在空间,解码逐帧权重以聚合这些部位特定的投票。在此表示的基础上,PAMI 以粗到细的层级结构生成交互。PamiGen 首先在该结构化潜在空间中从文本生成粗略的人-物交互,随后 PamiRefiner 递归地使用混合表面感知表示解析细粒度的接触几何,该表示结合了捕获整体身体部位影响的远程探针和解析物体表面附近详细接触的近距离传感器。在 InterAct 数据集上的实验表明,PAMI 比以往方法生成了更忠实的交互和更准确的人体相对物体运动,接触召回率较此前最先进方法提升了 14.5%。大量消融实验验证了部位锚定投票表示和混合表面感知精化两方面的贡献。
查看原文
查看缓存全文

缓存时间: 2026/10/08 15:58

论文页面 - PAMI:基于部件锚定运动的文本驱动人-物交互生成

来源:https://huggingface.co/papers/2609.38466

摘要

以文本为条件的全身人-物交互(HOI)生成需要合成与输入文本匹配的人体运动和物体轨迹,同时在时间上保持精确的协调。大多数方法将人体和物体表示为独立的轨迹,并预测全局的人-物耦合关系。然而,隐式地学习这种复杂且动态变化的关系往往导致物体漂移、接触遗漏和穿模等问题。我们提出了PAMI,一个面向交互生成的部件锚定运动框架。受经典霍夫变换(Hough Transform)的启发,我们的核心思想是让身体部件锚点对物体运动进行“投票“来定位:我们将物体运动表达为相对于多个身体部件锚点的相对运动,并使用PamiVAE学习交互隐空间,解码出逐帧权重来聚合这些基于部件的投票结果。在该表示的基础上,PAMI采用由粗到细的层级结构生成交互:PamiGen首先在此结构化隐空间中从文本生成粗粒度的人-物交互,随后PamiRefiner递归地利用混合表面感知表示来解决细粒度的接触几何问题——该表示结合了捕捉整体身体部件影响的远距离探针和解析物体表面附近详细接触的近距离传感器。在InterAct数据集上的实验表明,PAMI能够生成更忠实的交互和更准确的相对人体物体运动,接触召回率比此前最优方法高出14.5%。大量消融实验验证了部件锚定投票表示和混合表面感知细化各自的贡献。

查看arXiv页面 (https://arxiv.org/abs/2609.38466) 查看PDF (https://arxiv.org/pdf/2609.38466) 项目主页 (https://coral79.github.io/pami/) GitHub (https://github.com/Coral79/PAMI-Code) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.38466)

在你的agent中获取此论文:

hf papers read 2609.38466

没有最新版CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型:0

暂无关联此论文的模型。

在模型README.md中引用 arxiv.org/abs/2609.38466 即可在此页面关联该模型。

引用此论文的数据集:0

暂无关联此论文的数据集。

在数据集README.md中引用 arxiv.org/abs/2609.38466 即可在此页面关联该数据集。

引用此论文的Spaces:0

暂无关联此论文的Space。

在Space README.md中引用 arxiv.org/abs/2609.38466 即可在此页面关联该Space。

收录此论文的合集:0

暂无收录此论文的合集。

将此论文添加到合集 (https://huggingface.co/new-collection) 即可在此页面关联。

相似文章

语义运动锚点:弥合共语手势中的运动与意义

arXiv cs.CL

本文提出语义运动锚点,即共语手势检索与合成中手势运动的自然语言抽象。该方法将3D手势离散化为身体-手部运动基元,并将其与转录文本对齐,在文本到手势检索和生成中的用户偏好方面取得了显著提升。

PINT:一个共享预测意图的机器人操作统一模型

Hugging Face Daily Papers

PINT 提出了一种统一模型,通过可学习的预测意图令牌(Predictive Intent Tokens)协调视觉语言推理、视频世界建模与动作生成,在无需具身预训练的情况下显著提升了机器人操作的分布外泛化能力,在 RoboTwin 2.0-Hard 和 LIBERO-Plus 等基准上大幅超越 Fast-WAM 和 StarVLA。

MAMHOI:通过可供性分解场景感知的人与物体交互

Hugging Face Daily Papers

MAMHOI 通过动作可供性(affordances)对场景感知的人-物交互生成进行解耦,利用场景条件模型预测可供性,再由可供性条件生成模型合成协调的人-物运动,从而无需配对的人-物-场景训练数据即可生成更符合场景几何、减少穿透的交互运动。

AffordanceWAM:面向机器人操控的可供性感知联合世界-动作建模

Hugging Face Daily Papers

AffordanceWAM 提出一种感知可供性(affordance)的生成式世界-动作模型,利用人类视频中的可供性表征联合预测未来场景与机器人动作,无需人类动作标注即可实现人类到机器人的迁移,并在 RoboCasa、CALVIN 等基准上取得一致提升。