论文页面 - 更好的视觉表征总能带来更好的端到端自动驾驶吗？

来源：https://huggingface.co/papers/2610.09695

摘要

ViRA 将视觉基础模型表征与端到端驾驶规划器对齐，以提升性能，并表明目标选择和辅助感知监督会显著影响规划性能的提升幅度。

视觉基础模型 (https://huggingface.co/papers?q=Visual%20foundation%20models)（VFM）凭借其强大的表征能力，正越来越多地被集成到端到端自动驾驶 (https://huggingface.co/papers?q=end-to-end%20autonomous%20driving)中，但这些表征何时能够改善驾驶性能仍不明确。为研究这一问题，我们提出了 ViRA，一种与规划器无关的视觉表征对齐 (https://huggingface.co/papers?q=planner-agnostic%20visual%20representation%20alignment)框架，保持规划器架构和推理成本不变。我们的研究揭示了三点发现：（1）VFM 引导的视觉表征能够持续提升各种端到端规划器的驾驶性能，其收益还可延伸至零样本闭环评估 (https://huggingface.co/papers?q=zero-shot%20closed-loop%20evaluation)。（2）VFM 对齐目标的选择会影响规划性能，而对于采用预训练 VFM 编码器的规划器，对齐到另一种 VFM 还能带来进一步收益。（3）辅助感知监督 (https://huggingface.co/papers?q=Auxiliary%20perception%20supervision)降低了对 VFM 对齐目标选择的敏感性，使五种目标之间的 EPDMS (https://huggingface.co/papers?q=EPDMS)分数差距从 2.7 分缩小至 0.5 分，并可能弥补效果较差的 VFM 对齐目标所带来的不足。基于这些发现，我们开发了 ViRA-Diffusion，这是一种基于扩散的规划器 (https://huggingface.co/papers?q=diffusion-based%20planner)，在不使用辅助感知监督 (https://huggingface.co/papers?q=auxiliary%20perception%20supervision)的情况下进行训练，在 NAVSIM v2 navtest 上取得了 92.3 的 EPDMS (https://huggingface.co/papers?q=EPDMS)分数，比我们比较的近期方法至少高出 1.9 分。这些结果表明，在将 VFM 集成到端到端自动驾驶 (https://huggingface.co/papers?q=end-to-end%20autonomous%20driving)时，应综合考虑目标选择和规划器监督方式。结果和演示可在 https://github.com/OpenDriveLab/ViRA 获取。

查看 arXiv 页面 (https://arxiv.org/abs/2610.09695)查看 PDF (https://arxiv.org/pdf/2610.09695)项目页面 (https://opendrivelab.com/ViRA/)GitHub (https://github.com/OpenDriveLab/ViRA)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.09695)

在你的智能体中获取这篇论文：

hf papers read 2610\.09695

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

暂无模型关联这篇论文

在模型的 README.md 中引用 arxiv.org/abs/2610.09695，即可从本页面链接到该模型。

引用这篇论文的数据集0

暂无数据集关联这篇论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.09695，即可从本页面链接到该数据集。

引用这篇论文的 Space0

暂无 Space 关联这篇论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.09695，即可从本页面链接到该 Space。

收录这篇论文的合集0

暂无合集收录这篇论文

将这篇论文添加到合集 (https://huggingface.co/new-collection)中，即可从本页面链接到该合集。