SafeDriveVLA:面向冲突感知端到端自动驾驶的导航条件化世界模型梦境推演
摘要
SafeDriveVLA 提出首个同时评估导航遵循与冲突感知的基准,并通过导航条件化世界模型的梦境模拟与三级导航合规模式预测,提升端到端自动驾驶视觉-语言-动作模型(VLA)在与安全要求冲突的指令下的鲁棒性,在 Bench2Drive 上达到 88.16 的驾驶分数。
查看缓存全文
缓存时间: 2026/10/15 07:03
论文页面 - SafeDriveVLA:面向冲突感知端到端自动驾驶的导航条件世界模型想象
来源:https://huggingface.co/papers/2610.20609
摘要
视觉-语言-动作(VLA)模型在自动驾驶领域日益受到关注,它们继承了大语言模型(LLM)的常识先验,并将导航接口从固定的指令集扩展为自由形式的自然语言指令。然而,这种开放式接口也暴露出新的漏洞面:疏忽的驾驶员可能会发出在当前场景下不安全的指令,而恶意用户则可能故意发出危险指令。我们提出了首个同时评估导航指令遵循能力、冲突感知能力以及对抗鲁棒性的基准套件。现有VLA在这两方面均表现不足:SimLingo在闭环中未能完成任何由语言指令引导的变道,且所有模型在相互冲突的信号下性能均显著下降。我们提出SafeDriveVLA,这是首个具备以下能力的驾驶VLA:(1)显式预测三级导航遵从模式,将冲突推理与动作生成解耦;(2)利用以导航为条件的世界模型想象来辅助这一预测。与根据专家动作或规划动作推演的既有世界模型不同,我们的模型想象严格遵循导航信号的情形,从而展示何时遵循导航是安全的。SafeDriveVLA在Bench2Drive上取得了88.16的驾驶得分(DS)和68.64%的成功率(SR);与表现最佳的SimLingo变体相比,闭环语言指令遵循能力提升了49.3%,并将不安全指令下的碰撞次数从60次降至38次。视频演示可在我们的项目页面查看。
查看arXiv页面 (https://arxiv.org/abs/2610.20609)查看PDF (https://arxiv.org/pdf/2610.20609)项目页面 (https://safedrive-vla.github.io/SafeDriveVLA)GitHub19 (https://github.com/ASGuard-UCI/safedrive-vla)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.20609)
在你的智能体中获取这篇论文:
hf papers read 2610\.20609
还没有最新版CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用这篇论文的模型0
没有模型链接到这篇论文
在模型的README.md中引用arxiv.org/abs/2610.20609,即可从本页面链接到该模型。
引用这篇论文的数据集0
没有数据集链接到这篇论文
在数据集的README.md中引用arxiv.org/abs/2610.20609,即可从本页面链接到该数据集。
引用这篇论文的Space0
没有Space链接到这篇论文
在Space的README.md中引用arxiv.org/abs/2610.20609,即可从本页面链接到该Space。
收录这篇论文的合集0
没有合集收录这篇论文
将这篇论文添加到合集 (https://huggingface.co/new-collection),即可从本页面链接到该合集。
相似文章
CMU-Drive 与 V2V-VLA:基于推理基准和车对车视觉-语言-行动模型的协同多智能体统一驾驶
介绍了 CMU-Drive,一个用于协同多智能体自动驾驶的闭环基准,以及 V2V-VLA,一个联合生成驾驶动作、路径点、推理和通信策略的视觉-语言-行动模型。这为协同 VLA 驾驶提供了首个基准和基线。
AUGUstus:统一生成与理解的自动驾驶视觉-语言-动作模型
AUGUstus 提出了一种统一生成与理解的自动驾驶视觉-语言-动作(VLA)模型,将基于扩散的动作生成与自回归思维链理解融合于单一模型,在 NAVSIM v1/v2 与 nuScenes 上达到 SOTA,并已在实车上以 12Hz 部署验证。
Fast-dDrive: 用于自动驾驶的高效块扩散VLM
Fast-dDrive是一种用于端到端自动驾驶的块扩散VLA模型,实现了最先进的轨迹精度,同时相比自回归基线提供了超过12倍的吞吐量加速,解决了高保真规划与边缘部署高效推理之间的权衡。
ShieldVLA:基于可行性感知的视觉-语言-动作模型安全对齐
ShieldVLA 提出了一种用于视觉-语言-动作模型的安全对齐微调框架,使用 Hamilton-Jacobi 可达性来估计安全操作区域,将安全成本降低57%并提高机器人基准测试中的任务成功率。
Neuro-Symbolic Drive: Rule-Grounded Faithful Reasoning for Driving VLAs
介绍了Neuro-Symbolic Drive,一个使用来自经典规划器的基于规则推理轨迹来微调驾驶VLA(Qwen3.5-4B)的框架,与标准CoT推理相比,显著降低了平均位移误差和漏检率。