为安全关键具身系统重新思考世界模型

# 1 引言
来源：https://arxiv.org/html/2609.03774
重新思考面向安全关键具身系统的“世界模型”

Kailang Ma1, Heye Huang1, 🖂, Inhi Kim1, Kitae Jang1
1 韩国科学技术院交通移动性研究生院，韩国大田 34051
📪 通讯作者。电子邮箱：[[email protected]](mailto:[email protected])

世界模型研究已从用于控制的紧凑潜在动力学（Ha 和 Schmidhuber, 2018 (https://arxiv.org/html/2609.03774#bib.bib4)）发展为具身环境的生成式、可控且交互式的模拟器。GAIA-2（Russell 等, 2025 (https://arxiv.org/html/2609.03774#bib.bib17)）推动了可控的多视角合成；UniSim（Yang 等, 2024 (https://arxiv.org/html/2609.03774#bib.bib23)）实现了交互式的现实世界模拟；而 TrafficBots（Zhang 等, 2023 (https://arxiv.org/html/2609.03774#bib.bib24)）、OccWorld（Zheng 等, 2024 (https://arxiv.org/html/2609.03774#bib.bib26)）和 DriveDreamer4D（Zhao 等, 2025 (https://arxiv.org/html/2609.03774#bib.bib25)）则扩展了多智能体行为建模、3D 占用率预测和 4D 场景表征。这些进展扩展了生成与预测能力，但未必能提升模型对安全关键要素的理解：即使一个精确且视觉逼真的模型，也可能忽略那些本应促使当前行动改变的证据。

考虑一个无保护的左转。畅通无阻的路口可能是最可能的未来，然而，一个行人从遮挡物后出现，尽管概率较低，却可能决定加速是否合理。等待、缓行和加速也会改变其他道路使用者的反应，从而改变可用信息和恢复空间。因此，对于安全关键的具身系统，关键问题不仅是可能发生什么，还有什么可能改变行动、替代行动如何改变后果，以及累积的经验是否应修正当前的判断。以可能性、重建或视觉保真度为主导的目标，可能恰恰抑制了这些决策相关的证据。

因此，我们将世界模型的能力组织为一个三级的认知递进。如图 1 (https://arxiv.org/html/2609.03774#S2.F1) 所示，预测建模询问最可能发生什么；后果建模询问什么可能改变行动；反思建模则询问可用证据是否足以支持行动。这些能力是累积的而非互斥的。我们将“后果性未来”定义为改变候选行动的可行性、可接受性或可恢复性的可信分支。

基于此观点，我们提出“风险告知世界模型”作为面向安全关键具身系统的研究方向。RIWM 围绕行动后果组织世界建模：决策相关证据塑造表征、反事实推理、情景记忆和运行时安全保障，而执行反馈持续修正这些证据。它将物理、社会和操作后果视为不同的决策领域，并以认知不确定性来限定用于评估这些后果的证据。风险告知建模并不意味着消除风险、实现完全因果识别或提供无条件的安全保证。相反，后果、认知不确定性和可恢复性应实质影响模型所表征、推理、记忆的内容，以及它在何时应行动、修正、感知、推迟或放弃。这一方向扩展了自动驾驶中对统一环境理解、决策和控制的努力（J. Wang 等, 2021 (https://arxiv.org/html/2609.03774#bib.bib22)），并更广泛地针对安全关键的具身系统。

## 2 三个结构性不匹配

### 2.1 可能性-风险不匹配
对行动至关重要的未来，并不一定是发生最频繁的未来。随着场景维度和交互复杂性的增加，安全关键事件在可用数据中所占比例迅速缩小——这是自动驾驶安全研究中的“罕见性诅咒”（H. X. Liu 和 Feng, 2024 (https://arxiv.org/html/2609.03774#bib.bib11)）。因此，安全验证必须优先考虑信息丰富且具有区分度的场景，而不是依赖低效的随机暴露（Feng 等, 2023 (https://arxiv.org/html/2609.03774#bib.bib3)）。正如无保护左转示例所示，一个概率较低但后果重大的可信分支，即使不是最可能的未来，也可能主导决策。因此，仅凭概率无法表达一个分支对当前行动的重要性。标量的概率-严重性得分同样会模糊重要的决策结构。相同的得分可能对应不同的交互反应、受威胁的要求或恢复余量，而这些区分决定了系统是应该行动、修正、感知、推迟还是放弃。

在认知不确定性下，这一局限性变得更加关键。随机不确定性涉及不可约的变异性或观测噪声（Kendall 和 Gal, 2017 (https://arxiv.org/html/2609.03774#bib.bib10)），而认知不确定性反映了对模型或数据生成过程知识的有限性，可能通过额外证据减少（Hüllermeier 和 Waegeman, 2021 (https://arxiv.org/html/2609.03774#bib.bib9)）。关键在于，认知不确定性可能意味着相关分支根本未被表征。一旦遮挡拓扑、冲突参与者或恢复空间在学习状态中被忽略或合并，下游的风险评分就无法可靠地重建它。因此，安全相关性必须塑造表征和分支分配，而不是在预测之后附加。

参考图注 图 1：从以预测为中心到以决策为中心的导向，跨越预测性、后果性和反思性世界建模的认知递进。
### 2.2 预测-干预不匹配
具身智能体不仅仅是预测未来；它的行动有助于创造未来。在左转路口，等待、缓行和加速不仅改变自车轨迹，还改变其他参与者的反应、可用信息和恢复空间。因此，未来并非一个策略无关的序列，而是一个由行动、交互、信息变化和后果共同塑造的分支结构。

几个层次的推理应保持区分。行动条件预测估计候选行动之后可能发生什么；干预敏感推演模拟响应如何随该行动变化；反事实比较对比由此产生的行动-响应-后果链条；而因果识别需要明确的因果假设（Pearl, 2009 (https://arxiv.org/html/2609.03774#bib.bib15)）。交互预测和多智能体模拟建模未来如何随候选行动变化（Z. Huang 等, 2023 (https://arxiv.org/html/2609.03774#bib.bib8); Sun 等, 2022 (https://arxiv.org/html/2609.03774#bib.bib20); Suo 等, 2021 (https://arxiv.org/html/2609.03774#bib.bib21)），但预测或模拟模型中的行动条件本身，并不能识别世界对未选择的干预会如何反应。因此，RIWM 需要可靠的行动条件推演和有界的反事实比较，同时明确更强的因果主张背后的假设。

### 2.3 时间尺度-累积不匹配
一系列局部可接受的决策仍可能累积成不安全的后果。一个略显激进的并入可能保持无碰撞，却引发下游的制动连锁反应；而反复的保守等待可能避免直接冲突，却导致死锁或引发更不可预测的行为。因此，逐帧的安全并不能保证长期可恢复性。

这种不匹配不能简单地通过延长预测时间尺度或上下文窗口来解决。更长的预测是在推演内看得更远，而证据连续性则保持了事件在连续观测、行动和反馈中重要的原因。因此，系统应保留经验的后果结构——采取了何种行动、环境如何响应、后果如何、哪些假设失败、恢复是否成功——而不是不加区分的历史细节。现有的智能体记忆和终身学习研究提供了随时间保留和修正经验的机制（Meng 等, 2025 (https://arxiv.org/html/2609.03774#bib.bib13); Park 等, 2023 (https://arxiv.org/html/2609.03774#bib.bib14)），但这些机制本身并不能保留其安全相关性。因此，RIWM 需要保留失败、险情和恢复，连同其后果、来源、失败的假设和恢复结果，以便它们能修正当前的表征和未来的分支。

## 3 风险告知世界模型
三个结构性不匹配要求世界模型围绕后果、干预、不确定性和恢复来组织证据。RIWM 将后果划分为物理（碰撞和恢复空间）、社会（规范、交互和响应）以及操作（进展、效率、信息增益和死锁）领域。RIWM 包含四个相互依赖的能力：决策相关表征保留可能改变行动边界的信息；反事实推理比较候选行动下的响应和后果；安全关键情景记忆利用过去的失败、险情和恢复来修正当前判断；运行时安全保障评估可用证据是否足以在明确假设下支持行动。图 2 (https://arxiv.org/html/2609.03774#S3.F2) 展示了模型与环境之间的闭环交互，将这些能力与决策相关后果、认知不确定性和执行反馈集成在一起。时间上，情景记忆向后看，反事实推理向前展开，运行时安全保障与行动并行运作，而认知不确定性则约束用于判断后果的证据强度。

参考图注 图 2：面向安全关键具身系统的风险告知世界模型的概念架构。
### 3.1 决策相关表征
决策相关性关注信息是否改变了候选行动的可行性、可接受性、可恢复性、排序或证据支持，而非其视觉显著性或频率。因此，决策相关表征优先考虑支持行动比较的关系。在驾驶中，这些包括冲突区域、遮挡、路权、社会规范、逃生空间、其他参与者反应的不确定性以及模型的知识边界。

现有工作为决策相关表征提供了部分但互补的基础。K-Risk（H. Huang 等, 2026a (https://arxiv.org/html/2609.03774#bib.bib7)）将结构化驾驶轨迹和事件级元数据与提取的高风险事件及 LLM 生成的语义注释相关联，而 RiskNet（Q. Liu 等, 2026 (https://arxiv.org/html/2609.03774#bib.bib12)）表征方向交互风险。然而，这些组件单独都不能决定在物理、社会和操作后果中，哪些证据会改变行动边界。这些后果领域可能共存，且无需压缩为单一成本；相反，它们对行动选择的不同影响应保持可识别。认知不确定性并非一个后果领域，而是限定支持后果评估和行动选择的证据。

两个未来可能具有相似的像素和短期轨迹，但当护栏和相邻车辆移除了横向逃生空间时，它们在可恢复性上可能有决定性差异。因此，表征的评估不仅应通过图像、占用率或轨迹的准确性，还应看遮挡、路权、逃生空间和不确定性的变化是否修正了反事实分支和行动排序。对于安全关键的具身系统，表征目标应因此从精确保留所有信息，转变为保留可能改变决策的信息。后果、恢复余量和证据充分性应在执行前塑造表征，而不是作为下游风险评分附加。

### 3.2 反事实推理
对所有未来进行穷举模拟既不可行也无必要。推演的广度、时间尺度和保真度应适应决策相关性。熟悉、弱交互且有充足恢复余量的情境可能仅需紧凑预测，而严重遮挡、不对称响应、相关故障记忆或收窄的恢复空间则应触发更广泛、更长或更详细的推演。因此，建模资源应动态而非均匀分配。

在固定的分支预算下，反事实推理应同时保留最可能的基线以及可能改变安全边界的可信替代方案。此类替代方案应得到当前观测、校准的不确定性、有效的记忆或有界扰动的支持，而非任意的危险生成。可生成性不等于可信性。因此，分支覆盖应明确考虑了哪些未来、哪些证据支持它们，以及哪些关键变量仍然未知。

现有方法为此类比较提供了部分基础。人类感知规划表征自车行动如何可能影响人类响应（Sadigh 等, 2016 (https://arxiv.org/html/2609.03774#bib.bib18)），而 LEAD（H. Huang 等, 2025 (https://arxiv.org/html/2609.03774#bib.bib6)）将博弈论决策适应于变化的交互。这些公式支持行动依赖的比较，但本身并未确立由此产生的分支是否因果可识别，或是否对安全关键决策足够完整。因此，RIWM 应将有限的计算集中在可信的、决策相关的替代方案上，并在证据不足时支持更广泛的响应——包括行动、修正、感知、推迟和放弃。

### 3.3 安全关键情景记忆
智能体认知架构区分记忆存储和操作（Sumers 等, 2024 (https://arxiv.org/html/2609.03774#bib.bib19)），生成式智能体展示了基于记录经验的检索和反思（Park 等, 2023 (https://arxiv.org/html/2609.03774#bib.bib14)）。终身机器人学习进一步研究了知识如何随时间得以保存和结合（Meng 等, 2025 (https://arxiv.org/html/2609.03774#bib.bib13)）。RIWM 建立在这些基础上，但需要超越按视觉相似性索引的历史记录：一个可重用的安全情景应关联情境、行动、他人响应、后果、恢复、假设、置信度、来源和时间。保留应优先考虑失败、险情、成功恢复以及其他具有高后果、高意外性、高恢复价值或高迁移价值的经验。

检索应强调交互结构和行动-响应关系，而不仅仅是外观。同样重要的是，记忆必须保持可修正性：传感器、策略、交通规则或运行条件的变化可能使早期经验失效。因此，记忆应支持在分布漂移下的冲突跟踪、重新验证、降权或遗忘。在 RIWM 中，后果性经验应被...