论文页面 - Robusto-2：利马与纽约市自动驾驶中人类与VLM的基准测试

来源：https://huggingface.co/papers/2606.20980

摘要

本研究考察了自动驾驶系统与人类在不同地理位置的视觉问答任务上的表现，揭示出人类和AI的回答因问题类型而异，但不同地点的表现却相似。

随着自动驾驶汽车（Self-Driving Cars）持续拓展国际市场，并采用多模态系统（multi-modal systems）如VLM（VLMs）作为其动作模型的认知核心，这些系统在新环境——尤其是新地理区域中分布外（out-of-distribution, OOD）的边界情况——里泛化能力如何？本文通过提供全因子分析来探讨这一开放问题：我们让利马的人类驾驶员、纽约市的人类驾驶员以及VLM观看分别从利马和纽约市采集的行车记录仪（dashcam）片段，并在视觉问答（Visual Question Answering, VQA）范式下用多种问题对它们进行提示。我们特意选择了这两个城市，因为它们都是极具挑战性的驾驶地点，目前尚无自动驾驶汽车公司在此运营，并提出涵盖4个类别的问题：事实（Factual）、评分（Ratings）、反事实（Counterfactual）和推理（Reasoning）。我们发现人类与VLM在回答上存在差异——尽管这种差异受到问题类型的调节，而不同地域（利马/纽约）的人类回答则相似。令我们惊讶的是，我们并未发现地理因素对回答（人类或VLM）有明显的差异影响，这很可能是因为这些场景本身处于高度分布外（out-of-distribution）的状态。我们的数据集可在 https://huggingface.co/datasets/Artificio/robusto-2 获取。

查看 arXiv 页面（https://arxiv.org/abs/2606.20980）查看 PDF（https://arxiv.org/pdf/2606.20980）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.20980）

引用本文的模型0

没有模型关联本文

在模型 README.md 中引用 arxiv.org/abs/2606.20980 即可在此页面链接。

引用本文的数据集1

Artificio/robusto-2 更新于约3小时前 • 2（https://huggingface.co/datasets/Artificio/robusto-2）

引用本文的 Spaces0

没有 Space 关联本文

在 Space README.md 中引用 arxiv.org/abs/2606.20980 即可在此页面链接。

包含本文的收藏集0

没有收藏集包含本文

将本文添加至收藏集（https://huggingface.co/new-collection）即可在此页面链接。