DiDrive：一种用于自动驾驶安全离线强化学习的风险感知分层扩散框架

# DiDrive：面向安全离线强化学习的风险感知分层扩散自动驾驶框架
来源：https://arxiv.org/html/2609.01609 \\tnotetext 
\[1\]本工作得到中国福建省自然科学基金资助（基金号2026J001253）。 1\]机构：福州大学计算机与数据科学学院，地址行：，城市：福州，邮编：350116，省：福建，国家：中国 2\]机构：福州大学莫纳什国际工程学院，地址行：，城市：福州，邮编：350116，省：福建，国家：中国 3\]机构：中国科学院自动化研究所，地址行：，城市：北京，邮编：100190，省：，国家：中国\\cortext\[1\]通讯作者：陈景堂 陈志林 徐佩 付明建 sinceway@fzu\.edu\.cn 刘文曦 余元龙 \[\[\[ ###### 摘要 自动驾驶需要在高度动态的交通环境中进行安全可靠的序列决策。离线强化学习通过直接从静态数据集中学习，避免了在线探索的危险，已成为一种很有前景的范式。然而，离线强化学习的应用面临重大瓶颈。虽然扩散模型能有效捕捉多模态行为先验，但它们容易受到分布偏移和重尾风险信号的影响，这可能会扭曲反向去噪方向，并产生分布外或危险动作。在复杂的交通场景中，这种脆弱性进一步加剧，因为高维状态输入常常使智能体承受冗余的环境信息，掩盖了关键的局部风险并误导动作生成。为解决这些交织的挑战，我们提出了DiDrive，一种用于安全强化学习的分布引导离线扩散框架。DiDrive的核心是两个紧密集成的核心组件：风险感知分层扩散架构和基于扩散的驾驶分布校正估计策略优化范式。在状态空间中，RHDif管理输入复杂性；它采用低级风险门控编码器来增强局部危险特征，并使用高级上下文调制器来对齐全局语义。来自这些模块的融合特征被注入到连续的反向去噪步骤中作为联合条件，引导模型过滤冗余并聚焦于核心威胁。在动作空间中，3DICE构建了一个具有内在安全性的四阶段机制。基于RHDif提取的精细表示，它通过基于密度比加权的样本内校准引导、时空协同优化以及基于集成的候选排序，进一步减轻了分布外过估计和梯度振荡。RHDif与3DICE协同工作，精炼了环境感知，同时3DICE约束了动作不确定性，增强了分层设计的整体安全效用。在CARLA仿真基准上的实验表明，DiDrive在不同交通密度下都具有稳定性。与包括IQL、CQL和Diffusion-QL在内的基线方法相比，DiDrive在成功率、平均奖励和车道偏离方面展现出更优的综合性能。值得注意的是，在包含60辆背景车辆的复杂高密度场景中，DiDrive取得了最高的85%成功率和4295.68的最高平均奖励。通过有效地整合风险感知表示与分布校正优化，本研究为在高复杂环境中实现安全自动驾驶决策提供了一条稳健且前景广阔的途径。 ###### 关键词：自动驾驶\\sep强化学习\\sep扩散模型\\sepDICE ## 1 引言 在高维、动态且不确定的交通环境中进行安全精确的序列决策是自动驾驶的基石\[Wen\_2024\_ICLR\_DiLu,Hu\_2023\_CVPR\_UniAD,Zheng\_2024\_ECCV\_GenAD\]。尽管像模仿学习和在线强化学习这样的数据驱动方法推动了重大进展\[10602544,9904958\]，但在构建高度可靠的闭环系统时，它们面临着关键瓶颈。模仿学习常常无法覆盖长尾风险，而在线强化学习在试错探索中引入了不可接受的安全隐患。因此，离线强化学习已成为一种重要的替代方案，它直接从静态数据集学习有效策略，以规避在线交互的风险和成本\[levine2020offline\]。尽管前景广阔，但离线强化学习从根本上受限于分布偏移\[10078377\]。当前的解决方案大致可分为三类，每类在自动驾驶背景下都有明显的局限性。第一种技术路线依赖于策略约束和价值正则化\[Ran2023PolicyRW,Kostrikov2021OfflineRL,kumar2019bear,NEURIPS2020\_0d2b2061\]。尽管这些方法减少了分布不匹配，但其单峰高斯假设难以捕捉驾驶行为的复杂多模态特性，例如让行和超车。第二种技术路线利用高表达性的生成模型，尤其是扩散模型\[NEURIPS2023\_3b3889d3,NEURIPS2023\_d45e0bfb,zheng2025diffusionbased,11094573,11093059,chi2025diffusionpolicy\]。然而，由于自动驾驶中的状态-动作空间是高维且连续的，基于扩散的策略容易采样到训练数据支持范围之外的动作。依赖于价值函数来过滤这些分布外候选动作通常会导致过估计，可能误导智能体做出灾难性决策。第三种技术路线采用分布校正估计，通过样本内重要性加权绕过显式的分布外查询。然而，在以极端重尾风险信号（如碰撞惩罚）为主导的驾驶场景中\[pmlr\-v238\-zhu24a\]，传统的校正方法会遭受严重的数值不稳定，导致梯度振荡和策略引导扭曲。除了动作空间的挑战外，高维状态表示构成了另一个重大障碍。复杂的交通环境由道路背景、静态障碍物、动态参与者以及潜在的冲突区域组成\[Jiang2023VADVS\]。现有方法通常对这些元素没有充分区分地处理。这种统一的处理方式降低了模型高效利用安全关键信息的能力，并延迟了在突然危险事件中识别高风险目标的速度\[Jia\_2023\_ICCV\_DriveAdapter,Jia\_2023\_CVPR\_ThinkTwice\]。为了克服这些交织的挑战，自动驾驶的策略优化必须首先将动作查询限制在已支持的数据区域内。此外，在处理复杂的环境输入时，需要严格的风险优先排序。为此，模型应最大限度地利用静态数据集中已存在的状态-动作样本。通过在训练期间为高质量的决策样本分配更大的权重，扩散去噪过程自然会被引导至数据支持范围内的更优动作分布。同时，智能体必须过滤高维背景冗余，以准确分离关键的安全线索。为了将支持感知策略优化与风险感知状态表示无缝集成，我们提出了DiDrive，一种用于安全离线强化学习的分布引导扩散框架。DiDrive的核心是基于扩散的驾驶分布校正估计范式，它将策略优化构建为四个阶段：表示、引导、优化和选择。在此范式下，扩散模型不是显式地查询未见过的动作，而是利用从历史经验权重中得出的样本内引导来调整其反向去噪轨迹。结合渐进式参数集成，3DICE安全地将行为策略转向高质量的、在支持集内的动作，有效缓解了价值过估计和由重尾奖励引起的不稳定性。为了对抗信息过载和状态空间中缺乏风险区分，我们设计了风险感知分层扩散架构。在底层，风险门控时空编码器在安全裕度缩小时，通过自下而上的局部风险感知主动放大关键威胁的特征响应。同时，高级模块利用跨模态上下文调制器执行自上而下的上下文过滤，有效抑制无关的背景干扰。本工作的主要贡献有三个方面：
 - •首先，我们提出了3DICE范式，制定了一种新颖的优化框架，整合了扩散先验、样本内引导、时空协同优化以及内化的支持集约束。该设计有效避免了因分布外查询导致的价值过估计，并针对重尾风险信号稳定了训练。
 - •其次，我们设计了RHDif架构，将局部风险感知与高维语义去噪解耦。通过RGSE与CMCM的协同结合，模型高效过滤冗余噪声，将计算资源集中于核心威胁。
 - •第三，在高保真CARLA仿真器中的广泛评估表明，DiDrive在长尾、高密度和安全关键场景中显著优于最先进的基线方法，证明了其强大的泛化能力和决策可靠性。
 ## 2 相关工作
 ### 2\.1 离线强化学习
 离线强化学习旨在直接从静态数据集学习决策策略，而无需额外的环境交互。这种范式在数据采集成本高昂或安全要求严格的应用中尤其有价值。与此工作相关的现有研究大致可分为三个渐进方向：保守价值与策略学习、表达性策略建模以及分布校正。代表性的保守学习方法包括行为约束算法，如BCQ\[Fujimoto2018OffPolicyDR\]和TD3\-BC\[Fujimoto2021TD3BC\]，以及价值正则化方法，如CQL\[NEURIPS2020\_0d2b2061\]和通过IQL进行的隐式学习\[Kostrikov2021OfflineRL\]。BCQ通过约束学习到的策略选择接近行为策略的动作来缓解外推误差，而CQL对分布外动作的价值估计施加保守约束以减少过估计。Waymo团队的实证研究\[GuillenPerez2024OfflineRL\]进一步验证了CQL在自动驾驶中的有效性，表明它可以利用次优数据来提高策略性能，并在中等规模数据集上超越传统的模仿学习。虽然这些现有的离线RL方法有效缓解了分布外过估计，但它们通常依赖于相对严格的策略参数化，例如单峰高斯分布。这严重限制了它们对人类驾驶行为高度多模态特性的建模能力。为了克服这一限制，人们探索了更具表达性的策略表示。例如，DT\[NEURIPS2021\_7f489f64\]使用Transformer架构将离线RL构建为回报条件序列建模，而Diffusion\-QL\[Wang2022DiffusionPA\]和QGPO\[10\.5555/3618408\.3619356\]则采用扩散模型来增强策略分布的多模态表达能力。另一类工作关注离线强化学习中的分布校正。其理论基础可追溯至DICE系列方法，这些方法估计用于离线策略评估和优化的稳态分布比率。DualDICE估计目标策略与行为分布之间的折扣稳态占用率之比\[nachum2019dualdice\]，而GenDICE则通过变分散度最小化将此思想扩展到一般稳态分布校正\[zhang2020gendice\]。与在连续动作空间中直接搜索高价值动作的方法相比，分布校正方法减少了对未见动作显式价值估计的依赖，使其在理论上适合缓解分布外查询。尽管这些多样化的离线RL方法在标准基准测试中展现出潜力，但它们直接应用于自动驾驶时，暴露出策略优化方面的关键差距。具体而言，标准的价值正则化和分布校正技术对驾驶数据集中典型的重尾奖励分布（例如严重的碰撞惩罚）高度敏感。在处理这些重尾信号时，它们常常遭受显著的数值不稳定和梯度振荡，从而扭曲策略引导。因此，迫切需要一种稳健的优化机制，能够在极端安全风险下稳定样本内价值估计，从而为整合更具表达性的生成策略奠定可靠基础。
 ### 2\.2 扩散模型在自动驾驶中的应用
 作为一种新兴的生成建模方法，扩散模型通过渐进去噪能够有效捕捉多模态驾驶行为分布\[Ho2020DDPM,Song2021ScoreSDE,Dhariwal2021GuidedDiffusion,zheng2025diffusionbased,Zheng\_2024\_ECCV\_GenAD\]，为处理自动驾驶中的不确定性提供了有前景的技术途径。最近的研究展示了它们在自动驾驶行为规划方面的潜力\[11094573,11093059\]。与传统生成模型相比，扩散模型在表达复杂概率分布方面更具优势，能够生成多样化、合理且平滑的驾驶轨迹或行为序列，从而应对复杂交通场景中的多模态性和不确定性。在行为规划方面，扩散模型取得了显著进展。Janner等人的开创性工作PlanningWD\[Janner2022PlanningWD\]验证了扩散模型在序列决策中的有效性，后续研究已将这一思想扩展到预测、仿真和端到端的自动驾驶规划\[Hu\_2023\_CVPR\_UniAD\]。在多智能体交互层面，Jiang等人的MotionDiffuser\[10203706\]用基于扩散的轨迹分布建模取代了传统的基于回归的预测，通过排列不变的Transformer架构实现了具有交互一致性和多模态多样性的可控生成。Diffusion-ES进一步将轨迹去噪与无梯度进化搜索相结合，用于闭环自动驾驶规划和指令引导的轨迹优化\[Yang2024DiffusionES\]。对于实时端到端驾驶，Liao等人的DiffusionDrive\[11094573\]引入了截断扩散策略，该策略使用预定义的多模态锚点作为先验，并将去噪过程减少到仅两步，在保留轨迹多样性的同时实现了45 FPS的推理速度。在城市级仿真方面，Jeon等人的SceneDiffuser\+\+\[Tan2025SceneDiffuserCT\]提出了基于生成世界模型的CitySim，用于联合建模动态智能体生成、移除以及交通信号灯逻辑。DriveDreamer-2进一步探索了用于多样化驾驶视频生成的LLM增强世界建模，展示了生成世界模型在合成罕见和安全关键驾驶场景方面的潜力\[Zhao2025DriveDreamer2\]。为了进一步减少规划