Ego-OSCAR:第一人称开源立体捕捉系统
摘要
Ego-OSCAR 提出了一款开源、低成本的头戴式立体惯性捕捉设备,用于第一人称数据采集,并发布了硬件设计、软件以及约550小时带IMU数据的已标注立体视频。
查看缓存全文
缓存时间: 2026/08/11 10:20
论文页面 - Ego-OSCAR: 以自我为中心的开源立体视觉采集系统
来源:https://huggingface.co/papers/2608.08285
摘要
我们提出了 Ego-OSCAR,一种开源硬件、低成本、头戴式立体惯性采集设备,用于在真实场景中采集以自我为中心(egocentric)的数据。Ego-OSCAR 将硬件同步的全局快门立体相机与 6 轴 IMU、用于设备端视频编码的嵌入式 Linux SBC,以及用于用户反馈和看门狗功能的实时微控制器相结合。整套物料清单(BOM)成本低于每台 200 美元,仅使用商用部件和 3D 打印零件。除了设备本身,我们还发布了一套完整的软件栈(硬件加速录制管线、IMU 采样守护进程、时间同步工具和看门狗固件),以及由分布式贡献者网络在各类日常室内环境中采集的约 550 小时每相机同步 IMU 的自我中心立体视频。该数据集提供的是标注后的版本而非原始数据:自由形式的动作描述(action captions)以开放词汇覆盖了几乎整个录制时间线,同时每帧 3D 手部重建结果与每次会话的立体标定数据一同发布。Ego-OSCAR 并不旨在达到 Project Aria 等研究级系统在单台设备上的保真度;它的目标是成为众包自我中心采集的最廉价且合理可行的基础平台,并降低任何团队大规模采集自我中心数据的启动门槛。所有硬件设计、软件和数据集均已开源。
查看 arXiv 页面 (https://arxiv.org/abs/2608.08285) 查看 PDF (https://arxiv.org/pdf/2608.08285) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.08285)
在你的 agent 中获取此论文:
hf papers read 2608\.08285
没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型 0
暂无模型关联此论文
在模型的 README.md 中引用 arxiv.org/abs/2608.08285 即可从此页面关联该模型。
引用此论文的数据集 1
fpvlabs/stereo-550 更新于约 2 小时前 • 184 (https://huggingface.co/datasets/fpvlabs/stereo-550)
引用此论文的 Space 0
暂无 Space 关联此论文
在 Space 的 README.md 中引用 arxiv.org/abs/2608.08285 即可从此页面关联该 Space。
包含此论文的收藏集 0
暂无收藏集包含此论文
将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面关联该收藏集。
相似文章
EgoForce: 前臂引导的相机空间3D手部姿态——来自单目第一人称相机
EgoForce是一个单目3D手部重建框架,使用统一网络,包含可微分前臂表示、手臂-手部变换器和射线空间求解器,能够在不同相机模型下恢复绝对手部姿态和位置,在多个第一人称基准测试中达到了最先进的精度。
EgoSteer: 从第一人称视频实现可引导灵巧操作的全栈系统
EgoSteer提出一个全栈系统,从第一人称人类视频预训练视觉-语言-动作模型,实现可引导的灵巧操作,在40多个多样化任务上展现鲁棒泛化能力,复杂长时任务成功率超过75%。
EgoXperience:从人类经验中学习世界锚定的第一人称表征
EgoXperience 提出一个统一框架,通过自动标注的大规模数据和单次前向传播模型,从第一人称视频中联合重建相机运动、场景几何、手部与物体,并发布了 EgoX-Data-6M 数据集与 EgoX-Bench 基准,取得显著优于基线的性能。
MobileEgo Anywhere: 用于消费级硬件的长时域自我中心数据的开放基础设施
MobileEgo Anywhere 是一个基于移动设备的框架,利用智能手机传感器收集长时间自我中心机器人数据,通过降低硬件门槛,使得大规模训练视觉-语言-动作模型成为可能。
@macrodata_labs: 大家都在押注用第一人称视角数据来扩展机器人技术,但要将这些影像转化为训练数据,需要恢复……
Macrodata Labs 发布了一篇研究博客,介绍如何仅使用开源模型来恢复三维手部运动信号,从而利用第一人称视角视频数据扩展机器人技术。