论文页面 - ARDY: 基于混合表示的自回归扩散用于交互式人体动作生成

来源: https://huggingface.co/papers/2607.08741

摘要

ARDY 是一个流式生成框架，通过混合表示和两阶段自回归变换器去噪器，能够实时生成具有文本和运动学约束控制的高保真 3D 人体动作。

在交互式应用中实时生成逼真的 3D 人体动作，是动画、仿真和类人机器人领域的关键。虽然近期离线的动作生成方法通过文本和运动学约束（https://huggingface.co/papers?q=kinematic%20constraints）实现了精确控制，但它们在交互式场景所需的推理速度方面有所欠缺。相反，现有的在线方法可以实现实时合成，但往往牺牲了可控性，或因上下文窗口有限而难以处理复杂的文本语义和长期目标。在这项工作中，我们提出了 ARDY，一种流式生成框架（https://huggingface.co/papers?q=streaming%20generation%20framework），它通过支持由在线文本提示和灵活的运动学约束（https://huggingface.co/papers?q=kinematic%20constraints）控制的高保真动作生成，弥补了这一差距。ARDY 采用混合表示（https://huggingface.co/papers?q=hybrid%20representation），将显式的根特征与潜在身体嵌入（https://huggingface.co/papers?q=latent%20body%20embedding）相结合，在精确轨迹控制与高效生成学习之间取得平衡。我们提出了一种两阶段自回归变换器去噪器（https://huggingface.co/papers?q=autoregressive%20transformer%20denoiser），它具有可变历史上下文（https://huggingface.co/papers?q=variable%20history%20context），并支持基于灵活、长期运动学约束（https://huggingface.co/papers?q=kinematic%20constraints）的条件生成。通过在大型动作捕捉数据集（https://huggingface.co/papers?q=motion%20capture%20dataset）上训练，并直接以从真实姿态采样的文本标签（https://huggingface.co/papers?q=text%20labels）和运动学约束（https://huggingface.co/papers?q=kinematic%20constraints）为条件，ARDY 天然地学习了支持在线提示和灵活长期目标的可控生成。在 HumanML3D 基准测试（https://huggingface.co/papers?q=HumanML3D%20benchmark）以及大规模高保真 Bones Rigplay 数据集（https://huggingface.co/papers?q=Bones%20Rigplay%20dataset）上的广泛评估，证明了 ARDY 的高动作质量和约束遵循能力，验证了我们关键架构决策的有效性。最后，我们通过一个交互式演示展示了该方法的实际多功能性，该演示支持动态文本控制、多样化的关键帧姿态约束、路径跟踪以及通过鼠标和键盘实现的交互式步态控制。补充视频结果、代码和模型发布可在 https://research.nvidia.com/labs/sil/projects/ardy/ 获取。

查看 arXiv 页面 (https://arxiv.org/abs/2607.08741)查看 PDF (https://arxiv.org/pdf/2607.08741)项目页面 (https://research.nvidia.com/labs/sil/projects/ardy/)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.08741)

在你的代理中获取这篇论文：

hf papers read 2607.08741

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有与此论文关联的模型

在模型 README.md 中引用 arxiv.org/abs/2607.08741，以便从本页面链接。

引用此论文的数据集0

没有与此论文关联的数据集

在数据集 README.md 中引用 arxiv.org/abs/2607.08741，以便从本页面链接。

引用此论文的空间0

没有与此论文关联的空间

在空间 README.md 中引用 arxiv.org/abs/2607.08741，以便从本页面链接。

包含此论文的收藏0

没有包含此论文的收藏

将这篇论文添加到一个收藏 (https://huggingface.co/new-collection) 中，以便从本页面链接。