论文页面 - EgoForce：基于前臂引导的单目自拍视角相机空间3D手部姿态

来源：https://huggingface.co/papers/2605.12498

摘要

EgoForce 是一个单目 3D 手部重建框架，它通过一个统一的网络，利用可微分的前臂表示、手臂-手部变换器和射线空间求解器，在不同相机模型下恢复鲁棒的、绝对的手部姿态和位置。

使用单个头戴式相机从用户视角重建手部的绝对 3D 姿态和形状，对于 AR/VR、远程呈现以及以手部为中心的操控任务等实际自拍交互至关重要，这些场景要求传感设备保持紧凑且不引人注目。尽管单目 RGB 方法已取得进展，但它们仍受限于深度-尺度歧义（https://huggingface.co/papers?q=depth-scale%20ambiguity），并且难以泛化到头戴式设备的多种光学配置。因此，模型通常需要在特定设备的数据集上进行大量训练，而这些数据集的获取成本高昂且劳动密集。本文通过引入 EgoForce 来解决这些挑战，这是一种单目 3D 手部重建（https://huggingface.co/papers?q=monocular%203D%20hand%20reconstruction）框架，能够从用户（相机空间）视角恢复鲁棒的、绝对的 3D 手部姿态及其位置。EgoForce 使用单个统一网络，可在鱼眼、透视和畸变宽视场相机模型（https://huggingface.co/papers?q=distorted%20wide-FOV%20camera%20model）上运行。我们的方法结合了可微分的前臂表示（https://huggingface.co/papers?q=differentiable%20forearm%20representation）来稳定手部姿态，一个统一的手臂-手部变换器（https://huggingface.co/papers?q=arm-hand%20transformer）从单张自拍视图中同时预测手部和前臂几何形状，从而缓解深度-尺度歧义（https://huggingface.co/papers?q=depth-scale%20ambiguity），以及一个射线空间闭式求解器（https://huggingface.co/papers?q=ray%20space%20closed-form%20solver），能够在各种头戴式相机模型下实现绝对 3D 姿态恢复。在三个自拍基准上的实验表明，EgoForce 达到了最先进的 3D 精度，与先前方法相比，在 HOT3D 数据集上相机空间 MPJPE 降低了高达 28%，并在不同相机配置下保持一致的性能。更多详情，请访问项目页面：https://dfki-av.github.io/EgoForce/。

查看 arXiv 页面（https://arxiv.org/abs/2605.12498）查看 PDF（https://arxiv.org/pdf/2605.12498）项目页面（https://dfki-av.github.io/EgoForce/）GitHub（https://github.com/dfki-av/EgoForce）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.12498）

在您的代理中获取此论文：

hf papers read 2605.12498

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2605.12498，即可从此页面链接。

引用此论文的数据集1

chris10/EgoForce 更新于 23 分钟前 • 11.4k (https://huggingface.co/datasets/chris10/EgoForce)

引用此论文的 Spaces1

包含此论文的收藏0

没有包含此论文的收藏

将本论文添加到收藏（https://huggingface.co/new-collection）中，即可从此页面链接。