论文页面 - VITAL：从视觉运动到精确行动

来源：https://huggingface.co/papers/2610.20604

摘要

World‑action 模型旨在将视觉预判转化为驾驶决策，但通常在与视觉动态无关的轨迹表示上训练动作专家。这促使我们直接从视觉运动中推导动作目标。我们首先研究了一个更简单的设定：从记录的未来图像中重建轨迹。即使无需对未来进行预测，重建也能够捕捉主要的操控动作，但会留下厘米级误差。因此，我们提出了 VITAL（Vision‑Induced Tokens for Action Learning，视觉诱导动作学习 Token），这是一种动作 tokenizer，将视觉导出的运动骨架（motion scaffold）与一个紧凑的残差编码（用于编码该骨架留下的轨迹误差）耦合起来。这种表示使视觉运动成为主要的预测目标，并为小尺度的度量修正提供了独立、归一化的学习尺度。借助 flow matching，动作专家从当前图像、自车状态和导航指令中联合预测这两个分量，在推理阶段无需生成未来图像。相同的残差坐标还支持有界的强化后训练，在保持预测的视觉骨架不变的情况下细化执行。仅使用一步动作去噪，VITAL 在 NAVSIM v1 nav‑test 上达到 90.8 PDMS，与其十步分数相差仅 0.13 点，而端到端推理速度提升至 3.29 倍。无需重新训练，它在 NAVSIM v2 nav‑test 上达到 91.1 EPDMS，在 nav‑hard 上达到 38.6。项目页面：https://worldbench.github.io/vital

查看 arXiv 页面 (https://arxiv.org/abs/2610.20604) · 查看 PDF (https://arxiv.org/pdf/2610.20604) · 项目页面 (https://worldbench.github.io/vital) · GitHub (https://github.com/worldbench/VITAL) · 添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.20604)

在你的 agent 中获取此论文：

hf papers read 2610.20604

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.20604 即可从本页面链接它。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.20604 即可从本页面链接它。

引用此论文的 Spaces 0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.20604 即可从本页面链接它。

收录此论文的合集 0

暂无合集收录此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 即可从本页面链接它。