论文页面 - HumanSkill-4D：可动画化高斯化身在时空中的免训练语言查询

来源：https://huggingface.co/papers/2610.24452

摘要

HumanSkill-4D 通过共享的多模态推理模块与几何算子，在无需训练的情况下实现了语言驱动的化身区域与运动区间选择。

我们提出了化身指代分割（https://huggingface.co/papers?q=avatar%20referring%20segmentation），即从语言查询中选取可动画化 Gaussian 高斯化身的区域。查询还可以指定姿态或运动，从而选出匹配的时间区间。这使用户能够与化身交互，进行局部编辑与运动检查。然而，使用现有的语言 Gaussian splatting 方法进行这类选择面临两大挑战：相邻的身体部位和服饰难以区分，且可能被间接指代（区域歧义）；同时细粒度运动在 RGB 图像中可能看起来非常相似（运动歧义）。我们通过 HumanSkill-4D 来解决这些挑战，这是一个免训练框架，跨化身共享多模态大语言模型（https://huggingface.co/papers?q=multimodal%20large%20language%20model)（MLLM）与几何算子（https://huggingface.co/papers?q=geometric%20operators)。对于每个化身，一个语义记忆（https://huggingface.co/papers?q=semantic%20memory) 将身体部位和服饰类别关联到持久的高斯区域及其外观描述。MLLM 利用类别名称和描述，根据外观、关系或功能来选择类别。为找到匹配的时间区间，它将算子组合成程序，对存储在运动记忆（https://huggingface.co/papers?q=motion%20memory) 中的驱动关节轨迹进行查询条件检查。这些类别选择与算子输出使选择过程可追溯，而通过组合或新增算子还能支持新的运动条件。为评估该任务，我们构建了三个人工标注基准，并展示 HumanSkill-4D 在部位分割以及 3D 和 4D 指代分割方面超越基线方法，同时内存紧凑，每个化身仅需几分钟的设置时间。

查看 arXiv 页面 (https://arxiv.org/abs/2610.24452) 查看 PDF (https://arxiv.org/pdf/2610.24452) 项目主页 (https://jjunsss.github.io/HumanSkill-4D/) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.24452)

在你的 agent 中获取此论文：

hf papers read 2610\.24452

没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.24452 即可从此页面关联。

引用此论文的数据集 0

没有数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.24452 即可从此页面关联。

引用此论文的 Space 0

没有 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.24452 即可从此页面关联。

收录此论文的合集 0

没有合集收录此论文

将此论文添加到合集即可从此页面关联。