通过世界模型从人类偏好和理由中学习安全智能体行为

# 从人类偏好与理由中学习安全的智能体行为（基于世界模型）  
来源：https://arxiv.org/html/2607.13172  

11institutetext:南安普顿大学，英国南安普顿 SO17 1BJ  
11email:\{ik3n19,t\.j\.norman,ctf1\}@soton\.ac\.uk  
22institutetext:伦敦国王学院，英国伦敦 WC2R 2LS  
22email:yali\.du@kcl\.ac\.uk  

###### 摘要  
本文解决在环境动态未知且无合适奖励函数的情况下，安全训练并部署一个良好且安全的智能体策略的问题。在安全关键环境下，我们认为传统强化学习不切实际，并求助于人类输入的资源。我们提出了DROPJ，这是一种以人为中心的方法，用于安全训练与部署。首先，我们从先前的真实世界轨迹数据集中学习一个世界模型（即一个学习到的模拟器）。然后，人类在这个学习到的模拟器中“玩游戏”，提取若干信息丰富的模拟轨迹。从中，我们采样出模拟轨迹片段对，并让人类表达对这些片段的偏好，以及为其选择提供的理由（解释）。接着，我们根据这些带有理由的偏好训练一个奖励模型，并将其与世界模型结合，直接使用模型预测控制部署智能体。通过真实用户实验，我们发现从用户生成的信息丰富的模拟轨迹，相比其他策略能显著降低训练过程中的计算成本，并且还能提升部署时的性能。在学习到的模拟器内部训练的情景下，我们表明使用偏好而非其他类型的反馈，能大幅提升部署时的性能。我们进一步证明，伴随偏好的安全理由可以显著增强安全性，或优先考虑与这些理由相关的、用户指定的安全方面。  

## 1 引言  
在过去的几年中，强化学习（RL）已被证明是训练顺序决策智能体的有效方法 [56 (https://arxiv.org/html/2607.13172#bib.bib131),66 (https://arxiv.org/html/2607.13172#bib.bib129),68 (https://arxiv.org/html/2607.13172#bib.bib130)]。然而，端到端强化学习在自动驾驶和机器人等许多有用的真实世界及安全关键应用中的广泛使用仍受到限制。一个重要原因是，在实际环境中，环境的动态函数可能未知，因此我们无法访问可靠的（接近）完美的模拟器，如果必须在真实世界中训练，安全性就成为一个严重的问题。例如，一辆自主RL汽车必须撞到柱子才能学会不撞柱子。这个被称为安全探索的问题，已经在安全RL文献中被多种方法所解决 [20 (https://arxiv.org/html/2607.13172#bib.bib132),1 (https://arxiv.org/html/2607.13172#bib.bib162),13 (https://arxiv.org/html/2607.13172#bib.bib163),12 (https://arxiv.org/html/2607.13172#bib.bib133),67 (https://arxiv.org/html/2607.13172#bib.bib134),69 (https://arxiv.org/html/2607.13172#bib.bib257),54 (https://arxiv.org/html/2607.13172#bib.bib258)]。尽管这些方法试图通过设置约束来提供安全保证，但它们假设可以访问一个定义良好的环境奖励函数。然而，在复杂领域中，奖励函数也可能不可用或与人类目标对齐不良 [47 (https://arxiv.org/html/2607.13172#bib.bib136)]。从人类反馈中学习模型 [42 (https://arxiv.org/html/2607.13172#bib.bib137)]，特别是从成对偏好中学习奖励模型 [14 (https://arxiv.org/html/2607.13172#bib.bib126)]，提供了一个有前景的解决方案，因为学习到的策略更好地与人类目标对齐。然而，仅此并不能解决安全学习问题，因为如果智能体在真实世界中训练，它仍然会遇到不安全状态，存在损坏风险。此外，让人类持续监督智能体训练的方法 [64 (https://arxiv.org/html/2607.13172#bib.bib139),36 (https://arxiv.org/html/2607.13172#bib.bib125)] 通常会带来不可行的人类负担，并且在需要持续运行的领域中使用也不实际。  

图1：DROPJ 框架 [37 (https://arxiv.org/html/2607.13172#bib.bib235)]。在步骤3中，我们展示了单个安全理由（与车辆驶上草地的不安全步骤相关）的情况。  

一种试图解决动态和奖励函数均不可用情况下的安全学习问题的方法是，从过去真实世界轨迹的无奖励离线数据集中构建一个动态模型——实际上是一个不完美的模拟器（也称为世界模型）——并在该模拟器内安全地提取轨迹，然后根据人类反馈构建奖励模型。利用这个奖励模型，可以在模拟环境中学习RL策略并迁移到真实世界，或者，更好的方式是，直接使用模型预测控制（MPC）[19 (https://arxiv.org/html/2607.13172#bib.bib128)] 将智能体部署到真实世界。然而，遵循这种方法的工作 [63 (https://arxiv.org/html/2607.13172#bib.bib145),62 (https://arxiv.org/html/2607.13172#bib.bib138)] 存在两个局限性。第一，一个迭代的、计算昂贵的过程被用来生成信息丰富的查询以获取人类反馈：先生成轨迹片段，然后寻求人类反馈，训练奖励模型，再基于改进的奖励模型生成新的片段。这种假设查询生成尤其昂贵，且在复杂任务中难以扩展，因为用户必须停留在长期循环中提供反馈。第二，尽管训练在不完美的模拟器内安全进行，但如果奖励模型没有捕捉到安全需求，部署过程中仍可能发生不安全状态违规。  

我们提出DROPJ：基于一次性人类偏好和理由的梦想世界奖励学习 [39 (https://arxiv.org/html/2607.13172#bib.bib264)]。如图1 (https://arxiv.org/html/2607.13172#S1.F1) 所示，在步骤1中，DROPJ 从先前的真实世界无奖励轨迹（片段）中学习一个世界模型（学习到的模拟器）。在步骤2中，用户“玩游戏”几分钟，以生成梦想用户轨迹，即不是真实的，而是用学习到的模拟器提取的轨迹。这里允许探索和不安全状态的访问。在步骤3中，从梦想用户轨迹中采样成对的片段，用户表达其偏好并给出理由。然后，类似于 [14 (https://arxiv.org/html/2607.13172#bib.bib126)]，利用偏好和理由学习一个奖励模型。在步骤4中，配备学习到的动态和奖励模型，我们直接使用MPC部署智能体。因此，DROPJ 解决了上一段的两个局限性：在步骤2中，它通过利用用户在模拟器内安全采取行动的理解，一次性生成多样化的示例，从而促进了轨迹片段的生成；在步骤3中，它利用安全理由伴随偏好，解决了部署中的安全问题。与许多先前的工作相比，我们的方法假设没有预定义的环境动态或手工设计的奖励函数，这反映了现实世界的条件。我们用真实用户评估了性能和安全性，同时也评估了人类负担和计算成本。两个核心贡献是：  

1. **一次性技术**：我们称之为一次性技术，即用户在学习到的模拟器内“一次性”生成用于人类反馈的示例。与先前技术相比，该技术提高了计算成本（时间）和性能。  
2. **对理由思想的三个重要扩展**：(i) 用户反馈（带理由的偏好）是在轨迹片段上离线提供的，而不是在状态-动作对上在线提供；(ii) 带理由的偏好用于训练奖励模型，而不是直接优化策略；(iii) 可以提供多个安全理由，而不仅仅是单个理由。我们发现，理由在部署过程中可以增强用户指定的安全方面，但可能在性能或其他方面存在权衡。  

111本文是对会议论文 [37 (https://arxiv.org/html/2607.13172#bib.bib235)] 的扩展和大幅修订版，该论文曾在 ICAART 2026 (https://icaart.scitevents.org/?y=2026) 上展示。图2(b) (https://arxiv.org/html/2607.13172#S4.F2.sf2)、图6 (https://arxiv.org/html/2607.13172#S7.F6)–图18 (https://arxiv.org/html/2607.13172#Sx1.F18)，以及表2 (https://arxiv.org/html/2607.13172#S5.T2)、表3 (https://arxiv.org/html/2607.13172#S7.T3) 和表6 (https://arxiv.org/html/2607.13172#Sx1.T6) 转载自 [37 (https://arxiv.org/html/2607.13172#bib.bib235)]，而图1 (https://arxiv.org/html/2607.13172#S1.F1)、图3 (https://arxiv.org/html/2607.13172#S5.F3)–图5 (https://arxiv.org/html/2607.13172#S7.F5)，以及表5 (https://arxiv.org/html/2607.13172#Sx1.T5)、表7 (https://arxiv.org/html/2607.13172#Sx1.T7) 和表8 (https://arxiv.org/html/2607.13172#Sx1.T8) 改编自 [37 (https://arxiv.org/html/2607.13172#bib.bib235)]，如其图注所示。  

## 2 相关工作  
我们在安全方面的研究与安全RL的大量文献具有相似的动机，但这些文献不依赖人类输入 [20 (https://arxiv.org/html/2607.13172#bib.bib132),24 (https://arxiv.org/html/2607.13172#bib.bib261),1 (https://arxiv.org/html/2607.13172#bib.bib162),21 (https://arxiv.org/html/2607.13172#bib.bib259),13 (https://arxiv.org/html/2607.13172#bib.bib163),12 (https://arxiv.org/html/2607.13172#bib.bib133),52 (https://arxiv.org/html/2607.13172#bib.bib260),67 (https://arxiv.org/html/2607.13172#bib.bib134),70 (https://arxiv.org/html/2607.13172#bib.bib256),74 (https://arxiv.org/html/2607.13172#bib.bib255),69 (https://arxiv.org/html/2607.13172#bib.bib257),54 (https://arxiv.org/html/2607.13172#bib.bib258)]。这些方法将安全要求制定为在训练和部署期间都必须满足的约束，使用约束马尔可夫决策过程（CMDP）框架 [2 (https://arxiv.org/html/2607.13172#bib.bib72)]。然而，与我们的方法相反，它们假设存在一个明确指定的（定义良好的）环境奖励来定义优化目标。  

我们的方法还与整合人类输入的技术相关 [57 (https://arxiv.org/html/2607.13172#bib.bib159),42 (https://arxiv.org/html/2607.13172#bib.bib137),11 (https://arxiv.org/html/2607.13172#bib.bib158),71 (https://arxiv.org/html/2607.13172#bib.bib164),10 (https://arxiv.org/html/2607.13172#bib.bib213),25 (https://arxiv.org/html/2607.13172#bib.bib155),48 (https://arxiv.org/html/2607.13172#bib.bib230)]，特别是人类偏好，这是将智能体行为与人类目标对齐的最常见反馈类型 [14 (https://arxiv.org/html/2607.13172#bib.bib126),6 (https://arxiv.org/html/2607.13172#bib.bib32),45 (https://arxiv.org/html/2607.13172#bib.bib141),59 (https://arxiv.org/html/2607.13172#bib.bib149),40 (https://arxiv.org/html/2607.13172#bib.bib152),35 (https://arxiv.org/html/2607.13172#bib.bib233),49 (https://arxiv.org/html/2607.13172#bib.bib263)]。然而，这些大多数假设在完美模拟器（已知动态函数）内学习，没有研究安全性。相反，那些让用户积极监督智能体、帮助其在学习时避免不安全状态的方法 [64 (https://arxiv.org/html/2607.13172#bib.bib139),22 (https://arxiv.org/html/2607.13172#bib.bib140),18 (https://arxiv.org/html/2607.13172#bib.bib143),36 (https://arxiv.org/html/2607.13172#bib.bib125)] 在扩展性和泛化方面存在困难。在过去几年中，从人类反馈中学习也引起了大型语言模型的显著关注，包括安全方面 [58 (https://arxiv.org/html/2607.13172#bib.bib165),23 (https://arxiv.org/html/2607.13172#bib.bib229),60 (https://arxiv.org/html/2607.13172#bib.bib167),65 (https://arxiv.org/html/2607.13172#bib.bib232),51 (https://arxiv.org/html/2607.13172#bib.bib231),15 (https://arxiv.org/html/2607.13172#bib.bib169)]。  

我们的工作与世界模型相关。如 [26 (https://arxiv.org/html/2607.13172#bib.bib174)] 所述，世界模型可以从无奖励轨迹的离线数据集中构建，包括一个视觉组件（编码器），它将高维图像输入压缩为紧凑的潜在空间表示，以及一个记忆组件（预测器），它根据历史信息预测下一个潜在状态，从而在虚拟环境中形成一个动态模型。它是真实世界的一个学习模型（实际上是一个学习到的模拟器），其特殊之处在于具有上述两个组件。因此，我们也在此将其称为梦想世界，甚至梦想（如图1 (https://arxiv.org/html/2607.13172#S1.F1) 步骤1中用云表示）。有了动态模型，我们可以：在内部模拟大量动作，而无需昂贵的真实世界交互；还可以规划，即在行动之前“想象”未来状态并评估策略。222我们注意到，世界模型并非完美模拟器或视频生成系统（后者建模过多细节，不利于规划）；相反，它在抽象表示空间中进行预测并实现高效规划 [44 (https://arxiv.org/html/2607.13172#bib.bib262)]。  

此外，在 [26 (https://arxiv.org/html/2607.13172#bib.bib174)] 中，展示了可以在梦想世界中训练RL策略并成功迁移到真实世界。然而，那里的RL奖励函数被定义为一个简单的时间相关函数。相比之下，我们在梦想中从人类反馈学习一个全新的奖励模型。近来世界模型的发展增强了复杂环境中的长期预测稳定性和可扩展性 [27 (https://arxiv.org/html/2607.13172#bib.bib175),28 (https://arxiv.org/html/2607.13172#bib.bib176),29 (https://arxiv.org/html/2607.13172#bib.bib177),3 (https://arxiv.org/html/2607.13172#bib.bib215),30 (https://arxiv.org/html/2607.13172#bib.bib178),34 (https://arxiv.org/html/2607.13172#bib.bib216)]。然而，与我们的情况不同，它们并非使用先验轨迹的离线数据集，而是依赖于智能体在真实环境中交互时潜在不安全的在线数据收集。此外，它们通常假设环境可以提供手工设计的奖励，而不是像我们那样需要从人类输入中学习奖励模型。类似地，离线RL中的方法，如 [61 (https://arxiv.org/html/2607.13172#bib.bib179)]，表明策略可以完全从使用潜在空间模型的离线数据集中训练出来并迁移到真实环境，尽管它们假设在数据集轨迹中手工设计的奖励是可用的。这再次不同于我们的方法，我们是从人类输入中学习奖励模型。最后，我们注意到，尽管世界模型是一个强大且有前景的预测和规划工具，但其训练通常需要大量数据和大量计算资源。例如，最先进的 V-JEPA 2 模型 [4 (https://arxiv.org/html/2607.13172#bib.bib219)] 在超过一百万个小时的视频上进行了预训练，并需要通过机器人交互数据进行精炼。  

最接近我们方法的是 ReQueST [63 (https://arxiv.org/html/2607.13172#bib.bib145),62 (https://arxiv.org/html/2607.13172#bib.bib138)]，该方