论文页面 - EventEgoHands++：基于事件相机的自我中心3D手部网格重建（含真实数据集）

来源：https://huggingface.co/papers/2609.17189

摘要

3D手部网格重建是一项具有挑战性但对下游应用至关重要的任务，包括人机交互和增强/虚拟现实（AR/VR）。尽管传统相机已被广泛用于此类任务，但依赖它们的方法在弱光环境和严重运动模糊下表现不佳。为解决这些局限，事件相机因其高动态范围和高时间分辨率而近期备受关注。然而，将事件相机应用于自我中心视角的手部重建仍具挑战性，因为佩戴者自身运动产生的密集背景事件会掩盖与手部相关的有效信号。虽然首个基于事件的自我中心方法通过手部分割缓解了这一问题，但其二值手部掩膜未能区分左右手。因此，模型缺乏实例级手部信息，即使在仅一只手或没有手存在的情况下也会预测双手。这一限制导致手间关系判断错误并降低了重建精度。本文提出EventEgoHands++，一个用于从自我中心视角进行基于事件的3D手部网格重建的框架。所提方法包含一个手部检测器，可为左右手估计实例级边界框和掩膜。此外，我们引入自适应注意力机制，基于检测结果动态调节注意力权重，以精确学习手部间的空间关系和相互作用。为训练和评估该框架，我们扩展了合成数据集N-HOT3D，并构建了EEH-R——迄今最大规模的真实世界基于事件的自我中心手部数据集，包含约100万标注帧，采集环境涵盖弱光条件。在合成数据集和真实数据集上的大量实验表明，我们的方法持续优于基线模型。

查看arXiv页面 (https://arxiv.org/abs/2609.17189) 查看PDF (https://arxiv.org/pdf/2609.17189) 项目页面 (https://ryhara.github.io/EventEgoHandsV2/) GitHub (https://github.com/ryhara/EventEgoHandsV2) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.17189)

在您的代理中获取此论文： hf papers read 2609\.17189

没有最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

暂无关联模型

在模型的README.md中引用arxiv.org/abs/2609.17189以从此页面建立链接。

引用此论文的数据集 0

暂无关联数据集

在数据集的README.md中引用arxiv.org/abs/2609.17189以从此页面建立链接。

引用此论文的Spaces 0

暂无关联Space

在Space的README.md中引用arxiv.org/abs/2609.17189以从此页面建立链接。

包含此论文的收藏夹 0

暂无包含此论文的收藏夹

将此论文添加到收藏夹 (https://huggingface.co/new-collection) 以从此页面建立链接。