SAM 3D Body:鲁棒的全人体网格恢复
摘要
SAM 3D Body 是一个可提示的3D人体网格恢复模型,采用新颖的参数化表示(MHR)和编码器-解码器架构,实现了最先进的性能并具备强泛化能力。该模型支持辅助提示,并且是开源的。
查看缓存全文
缓存时间: 2026/06/05 14:06
Paper page - SAM 3D Body: 鲁棒的全人体网格恢复
来源:https://huggingface.co/papers/2602.15989 作者:
,
,
,
,
,
,
,
,
,
,
,
,
摘要
一种基于新颖参数化表示和编码器-解码器架构的可提示3D人体网格恢复模型,在多种条件下实现了最先进的性能与强大的泛化能力。
我们推出了 SAM 3D Body (3DB),一种用于单图像全人体3D网格恢复(https://huggingface.co/papers?q=3D%20human%20mesh%20recovery)(HMR) 的可提示模型,展示了最先进的性能,在多种野外条件下具有强大的泛化能力和一致的准确性。3DB 能估计身体、脚和手的人体姿态。它是首个使用新型参数化网格表示(https://huggingface.co/papers?q=parametric%20mesh%20representation)——动量人体骨架(https://huggingface.co/papers?q=Momentum%20Human%20Rig)(MHR) 的模型,该表示将骨骼结构与表面形状解耦。3DB 采用编码器-解码器架构(https://huggingface.co/papers?q=encoder-decoder%20architecture),并支持辅助提示(https://huggingface.co/papers?q=auxiliary%20prompts),包括2D关键点(https://huggingface.co/papers?q=2D%20keypoints)和掩码(https://huggingface.co/papers?q=masks),实现了类似 SAM 系列模型的用户引导推理。我们通过一个多阶段标注流程推导出高质量的标注,该流程结合了手动关键点标注、可微优化(https://huggingface.co/papers?q=differentiable%20optimization)、多视图几何(https://huggingface.co/papers?q=multi-view%20geometry)和密集关键点检测(https://huggingface.co/papers?q=dense%20keypoint%20detection)。我们的数据引擎(https://huggingface.co/papers?q=data%20engine)高效地选择和加工数据以确保数据多样性,收集了不常见的姿态和罕见的成像条件。我们提出了一个新的评估数据集(https://huggingface.co/papers?q=evaluation%20dataset),按姿态和外观类别组织,能够对模型行为进行细致分析。我们的实验展示了 superior 的泛化能力,并在定性用户偏好研究(https://huggingface.co/papers?q=qualitative%20user%20preference%20studies)和传统定量分析(https://huggingface.co/papers?q=quantitative%20analysis)中相比先前方法有显著改进。3DB 和 MHR 均为开源。
查看 arXiv 页面 (https://arxiv.org/abs/2602.15989)查看 PDF (https://arxiv.org/pdf/2602.15989)项目页面 (https://ai.meta.com/research/sam3d/)GitHub3.11k (https://github.com/facebookresearch/sam-3d-body)加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2602.15989)
在您的代理中获取此论文:
hf papers read 2602.15989
没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型0
无模型链接至此论文
请在模型 README.md 中引用 arxiv.org/abs/2602.15989 以在此页面建立链接。
引用此论文的数据集0
无数据集链接至此论文
请在数据集 README.md 中引用 arxiv.org/abs/2602.15989 以在此页面建立链接。
引用此论文的 Spaces0
无 Space 链接至此论文
请在 Space README.md 中引用 arxiv.org/abs/2602.15989 以在此页面建立链接。
包含此论文的收藏2
相似文章
SAM 3D Animal:基于提示的野外动物三维重建
SAM 3D Animal提出了一个基于提示的框架,用于从单张野外图像中进行多动物三维重建,该框架基于SMAL+模型,在多个数据集上取得了最先进的结果。
@skalskip92: 没有陷阱;SAM3是开源的,真的很棒,它在物体追踪方面表现出色,即便在……
SAM3(Segment Anything Model 3)是开源的,在物体追踪方面表现异常出色,即使在像篮球这样复杂的场景中也是如此,使其成为一款杰出的计算机视觉模型。
SAM 3: Segment Anything with Concepts
SAM 3 引入了一个统一的模型,用于基于提示的概念分割与跟踪,通过解耦的识别与定位架构以及可扩展的数据引擎,实现了最先进的性能。
几何至关重要:用于学习语义对应的3D基础先验
本文介绍了一个后训练框架,利用SAM3D的3D先验来改进2D基础特征中的语义对应,解决了左右混淆和重复部分等问题。该方法使用实例特定的3D重建,无需姿态注释或球面几何捷径。
SAM 3.1:通过多路复用和全局推理实现更快、更易用的实时视频检测与跟踪
Meta AI 发布了 SAM 3.1,这是 Segment Anything Model(分割一切模型)的一次更新,通过引入多路复用和全局推理能力,增强了实时视频检测与跟踪性能。