论文页面 - DreamTraj：通过读取未渲染的视频扩散潜变量生成6-DoF物体轨迹

来源：https://huggingface.co/papers/2608.00486

摘要

在操作过程中准确预测物体的轨迹对于闭环感知-动作循环至关重要。目前进展在两个方面受限：现有数据集缺乏细粒度的语言到运动标注，而现有预测器要么依赖视频、深度或CAD模型等特权输入，要么通过昂贵且易出错的感知流程从完全生成的视频中恢复运动。我们利用MOVE数据集弥补了这一监督缺口，该数据集包含5,038条以物体为中心的第一人称轨迹，每条轨迹都配有细粒度的自然语言指令，而非粗略的动词-名词标签。我们进一步提出DreamTraj，它仅从单张RGB图像和一条任务指令即可预测6-DoF物体轨迹，推理时无需视频、深度或CAD模型：它不是生成视频，而是从冻结的图像到视频扩散模型在早期去噪步骤中的内部表示中读取运动。一个轻量级的流匹配读取器将查询-键注意力轨迹和池化隐藏状态解码为相对的6-DoF姿态。据我们所知，这是第一个直接从视频扩散的中间表示而非生成的像素中解码物体6-DoF轨迹的方法。在平移和旋转方面，DreamTraj都超越了使用多帧或特权输入的预测器，达到了新的最优水平，且运行速度比“先生成再提取”的流程快4.6倍。

查看 arXiv 页面 (https://arxiv.org/abs/2608.00486)查看 PDF (https://arxiv.org/pdf/2608.00486)项目页面 (https://whathappen0.github.io/DreamTraj/)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.00486)

在你的智能代理中获取此论文：

hf papers read 2608\.00486

没有最新版的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2608.00486 以从此页面链接它。

引用此论文的数据集0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.00486 以从此页面链接它。

引用此论文的 Spaces0

没有 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2608.00486 以从此页面链接它。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接它。