论文页面 - Sensor2Sensor: 跨本体传感器转换用于自动驾驶

来源：https://huggingface.co/papers/2605.22809
作者：

，

，

，

，

，

，

，

，

，

，

，

，

摘要

Sensor2Sensor 利用扩散模型和 4D Gaussian Splatting，从野外行车记录仪视频生成高保真多模态传感器数据，用于自动驾驶系统的训练与验证。

自动驾驶系统（ADS）的稳健训练与验证需要大量多样化数据集。自动驾驶车辆（AV）车队收集的专有数据虽然保真度高，但在规模、传感器配置多样性、地理覆盖以及长尾行为场景的覆盖方面均存在局限。相比之下，来自行车记录仪等来源的野外数据规模庞大、多样性丰富，能够捕获关键的长尾场景和新环境。然而，这类非结构化的野外视频数据与期望结构化多模态传感器输入进行验证与训练的 ADS 不兼容。为弥合这一数据鸿沟，我们提出了 Sensor2Sensor，一种新颖的生成式建模范式，可将野外单目行车记录仪视频转换为高保真的多模态传感器套件（AV 日志），包括多视角相机图像和 LiDAR 点云。核心挑战在于缺乏成对的训练数据。我们通过 4D Gaussian Splatting（4DGS）重建和新视角渲染，将真实 AV 日志转换为行车记录仪风格的视频，从而解决这一问题。Sensor2Sensor 随后利用扩散架构执行生成式转换。我们对生成的传感器数据的保真度和真实感进行了全面的定量评估。通过将具有挑战性的野外互联网和行车记录仪片段转换为逼真的多模态数据格式，我们展示了 Sensor2Sensor 的实际效用，进一步为 AV 开发解锁了巨大的外部数据源。

查看 arXiv 页面 (https://arxiv.org/abs/2605.22809)
查看 PDF (https://arxiv.org/pdf/2605.22809)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.22809)

在你的智能体中获取此论文：

hf papers read 2605.22809

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2605.22809 以从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2605.22809 以从此页面链接。

引用此论文的 Spaces0

没有 Space 链接此论文

请在 Space README.md 中引用 arxiv.org/abs/2605.22809 以从此页面链接。

包含此论文的合集0

没有包含此论文的合集

请将此论文添加到合集中以从此页面链接。