PS：如果你喜欢这篇文章的视觉效果，我基于 @rerundotio 构建了一个针对 EgoSuite-Open100k 的数据集目录浏览器。你可以搜索、排序和筛选剧集，下载单个剧集并查看数据。

代码：https://t.co/QhkgM0qJVD

jonstephens85/egosuite-explorer

来源：https://github.com/jonstephens85/egosuite-explorer

EgoSuite 交互式浏览器

一个本地的、清单优先的浏览器和交互式 Rerun 查看器，用于需要授权访问的 LightwheelAI/EgoDemo (https://huggingface.co/datasets/LightwheelAI/EgoDemo) 数据集。无需下载整个数据集即可浏览剧集元数据，按需获取精确的 MCAP 剧集，并自动将 Lightwheel 自定义的手部、身体和语义 protobuf 数据流转换为原生 Rerun 可视化。

应用程序代码是开源的。EgoDemo 数据并未捆绑或重新分发；每个用户必须接受 Lightwheel 的数据集条款并使用自己的 Hugging Face 账户进行身份验证。

当前状态

本仓库包含一个支持四种标注过的 EgoDemo 变体的 MVP 版本：

• EgoStand
• EgoStand-body
• EgoProStandard
• EgoProStandard-body

从源码设置

要求：

• Python 3.11+
• Node.js 20+
• uv (https://docs.astral.sh/uv/)
• 一个支持 WebAssembly 的最新 Chromium 或 Firefox 浏览器

无需单独安装 Rerun。uv sync 会安装用于 MCAP 转换器的固定版本 Python rerun-sdk，而 npm ci 会安装用于嵌入式浏览器查看器的匹配 @rerun-io/web-viewer 包。两者目前都固定在 Rerun 0.36.3，以确保生成的 RRD 文件和 Web 查看器兼容。独立的 Rerun 桌面应用程序是可选的。

Linux 和 macOS

``bash uv sync uv run hf auth login cd frontend npm ci npm run build cd .. ./launch_demo.sh

### Windows

使用 64 位 Windows 10 或 11 和 PowerShell。将仓库克隆到较短的路径，例如 `C:\src\egosuite-explorer`，以便为较长的剧集名称留出空间。在仓库目录下运行：

``powershell
powershell -ExecutionPolicy Bypass -File .\setup_windows.ps1
uv run hf auth login
.\launch_demo.cmd

设置脚本会创建一个 Python 3.12 环境，安装固定版本的 Rerun SDK，安装前端包，并构建嵌入式查看器。执行策略覆盖仅适用于该设置命令；它不会更改计算机范围的 PowerShell 策略。.cmd 启动器可以在 PowerShell 和命令提示符下工作，无需更改策略。

命令提示符用户可以使用以下命令启动准备好的应用程序：

``bat launch_demo.cmd

确认 Python Rerun 安装：

``bash
uv run python -c "import rerun; print(rerun.__version__)"

如果你还想要可选的本地桌面查看器，rerun-sdk 依赖项会在项目环境中提供 rerun 命令：

``bash uv run rerun –version

服务器默认仅在 `127.0.0.1:8765` 上监听，并在你的浏览器中打开本地应用。在 Linux/macOS 上使用 `./launch_demo.sh --no-browser`，或在 Windows 上使用 `.\launch_demo.cmd --no-browser` 来禁止此行为。

如果 `./EgoDemo` 已存在，将被重用。否则数据将存储在 `~/.cache/egosuite-explorer/EgoDemo` 下。使用以下命令覆盖此位置：

``bash
EGOSUITE_EXPLORER_DATA=/path/to/EgoDemo ./launch_demo.sh

在 Windows PowerShell 中：

``powershell $env:EGOSUITE_EXPLORER_DATA = “D:\EgoDemo” .\launch_demo.cmd

在没有覆盖的情况下，Windows 将下载的数据存储在 `%USERPROFILE%\.cache\egosuite-explorer\EgoDemo` 下。MCAP 和 RRD 数据在所有平台上都从 Git 中排除。

## 工作流程

1. 点击 **同步清单**。仅请求四个 `manifests/**` 树。
2. 搜索任务、场景、环境和模态组合。
3. 为某个剧集选择 **下载与准备**。
4. 下载精确的清单引用的 MCAP 并在本地转换。
5. 选择 **打开交互式查看器** 检查同步的视频、原生的 3D 手部/身体姿态和语义标注。

生成的 Rerun 录像包含受 Lightwheel 启发的姿态样式、两个头部摄像头流上的像素空间手部骨骼叠加层、校准的头部摄像头视锥体、滚动的头部和足部运动轨迹，以及视频上的动作标签。腕部视频保持同步，但不接收投影叠加层，因为 EgoDemo MCAP 未提供腕部摄像头外参。

**四变体快速入门** 会从本地可用的每个清单中选择一个交互丰富、时长适中的剧集。

## 开发

分别运行 API 和 Vite 开发服务器：

``bash
.venv/bin/python -m egosuite_explorer.server --no-browser
cd frontend && npm run dev

前端将 /api 代理到 http://127.0.0.1:8765。

在 Windows 上，使用 .venv\Scripts\python.exe 代替 .venv/bin/python，或使用平台无关的命令 uv run egosuite-explorer --no-browser。GitHub Actions 在每次推送和拉取请求时，在 Windows 和 Linux 上运行 Python 测试和生产前端构建。

数据与许可

• 应用程序源码：Apache-2.0。
• Lightwheel 的关节顺序/拓扑结构在 egodemo_mcap_to_rerun.py 中归属于 Apache-2.0 许可的 LightwheelAI/LW-Egosuite-DevKit。
• EgoDemo 录像仍受数据集自身的访问条款和许可证约束。请勿提交 MCAP、RRD、提取的视频或 Hugging Face 令牌。