到达与生存：从一位失败信号扩展安全目标条件策略学习

# 抵达并存活：从单比特故障信号扩展安全目标条件策略学习
来源：https://arxiv.org/html/2608.26571

段毅扬、徐成成  
东南大学，南京，中国  
\{guopengli5, duanyiyang, xuchengcheng\}@seu.edu.cn  

焦逸儒  
2030实验室，银望智能科技有限公司，上海，中国  
[[email protected]](mailto:)

###### 摘要

对比强化学习（CRL）通过将策略学习转化为自监督对比目标，在目标条件任务中实现了有效扩展。然而，在以故障终止的马尔可夫决策过程中，现有的CRL仅在构建正样本时考虑故障前的未来目标，未计入因故障终止而移除的概率质量。我们的理论分析表明，这种遗漏会导致目标到达值的系统性高估偏差。因此，临近故障的轨迹尽管保留了极少的未来占据，却提供了与成功不相称的强监督信号。不安全动作可能通过灾难性故障自举得到强化，导致策略学习失败和不可持续的目标到达行为。为解决此问题，我们引入两项最小但有效的修正：质量加权InfoNCE修正了评论器学习中对短存活未来的过权重，对数存活质量分数恢复了策略优化中缺失的存活质量。由此产生的方法——安全对比强化学习（Safe-CRL）——仅需故障终止提供的单比特信号，即可扩展安全目标条件策略学习。在十二项易故障的机器人导航与运动任务中，Safe-CRL持续提升存活率，并在目标到达性能上显著优于Scaling-CRL基线。此外，深度Safe-CRL策略表现出复杂的故障避免行为。本研究完善了故障终止下的CRL理论，并提供了可扩展的安全强化学习框架。代码可通过https://github.com/RomainLITUD/safe-crl获取。

*关键词* 自监督强化学习⋅对比学习⋅安全策略学习⋅机器人控制

图1：Scaling-CRL与所提Safe-CRL方法在易故障导航和运动任务中的目标停留时间对比（五个随机种子的均值±标准差）。两种方法均使用64层演员和评论器网络（Point Goal与Car Goal使用8层）。Safe-CRL在所有任务中达到更高或持平的平均目标停留时间，其中九项任务收益显著。

## 1 引言

扩展模型容量已成为实现更强大强化学习策略的重要途径Schwarzer et al. (2023) (https://arxiv.org/html/2608.26571#bib.bib6);Lee et al. (2025) (https://arxiv.org/html/2608.26571#bib.bib9)。在目标条件RL中，对比强化学习（CRL）尤为有前景。它通过目标重标注Eysenbach et al. (2022) (https://arxiv.org/html/2608.26571#bib.bib3);Andrychowicz et al. (2017) (https://arxiv.org/html/2608.26571#bib.bib1)，将稀疏目标到达奖励转化为密集自监督，并通过对比目标学习到达指定目标。近期关于Scaling-CRL的研究表明，该方法能有效利用更深的演员和评论器网络提升性能，确立了CRL作为可扩展策略学习框架的地位Wang et al. (2025) (https://arxiv.org/html/2608.26571#bib.bib4)。

实践中，许多目标条件任务涉及**故障终止**——跌倒或碰撞等不安全事件会立即终止回合。例如，机器人运动要求到达目标位置且不跌倒Berseth et al. (2021) (https://arxiv.org/html/2608.26571#bib.bib27);Jain et al. (2021) (https://arxiv.org/html/2608.26571#bib.bib5)；导航与自动驾驶要求追逐移动目标同时避免碰撞Belkhouche et al. (2006) (https://arxiv.org/html/2608.26571#bib.bib7);Bansal et al. (2019) (https://arxiv.org/html/2608.26571#bib.bib8)。在此类安全关键场景中，故障会阻止目标达成或在代理到达目标后迅速终止回合。因此，安全的目标条件策略需要以可扩展的方式学习**抵达并存活**。理想解决方案应保留CRL的自监督可扩展性，不引入额外安全标注或任务特定代价信号。理想情况下，学习应仅依赖终止信号已提供的单比特故障信号。

然而，故障终止与现有CRL方法存在微妙交互：故障截断了可供重标注的未来状态，但现有CRL将剩余的故障前未来目标重新归一化为单位质量Eysenbach et al. (2022) (https://arxiv.org/html/2608.26571#bib.bib3);Wang et al. (2025) (https://arxiv.org/html/2608.26571#bib.bib4)。例如，从同一状态出发，考虑两个导致相似观测故障前未来目标的动作：一个后跟长期稳定轨迹，另一个在快速到达目标后迅速导致故障。若重标注每条轨迹的有效未来时不考虑其不同长度，这两个动作将获得可比的正监督，尽管其安全性能不同。换言之，CRL保留了关于**哪些**故障前未来目标可达的信息，但丢失了关于**多少**折扣未来目标占据**仍存活**的信息，我们称之为**存活质量**。

缺失的存活质量在目标到达值中引入系统性偏差，并可能导致严重后果。其一是我们所称的**灾难性故障自举**。在易故障任务中，重放缓冲区在训练早期充满短临故障轨迹。通过自监督反复强化此类轨迹可能使学习陷入易故障行为。另一后果是**不可持续的目标到达**：代理激进地到达指定目标，但随后发生碰撞、超调或跌倒，如图2 (https://arxiv.org/html/2608.26571#S1.F2)所示。这两种故障模式会严重降低CRL在安全关键任务中的性能。

上述讨论引出关键研究问题：**当仅存在单比特故障信号时，CRL应如何考虑故障终止以实现可扩展且安全的目标条件策略学习？**

图2：Scaling-CRL下不可持续目标到达示例。(a) Point代理到达目标区域但随后与移动障碍物碰撞；(b) Ant高速到达目标后超调撞墙；(c–d) 运动代理到达目标后立即跌倒。这些例子说明，成功的短期目标到达在故障终止下不一定导致稳定轨迹。

本文首先识别并形式化现有CRL在故障终止下的系统性高估偏差。该偏差可能将策略学习困于不安全、近故障区域，或导致不可持续的目标到达。为解决此问题，我们引入**质量加权InfoNCE**和**对数存活质量修正**，形成Scaling-CRLWang et al. (2025) (https://arxiv.org/html/2608.26571#bib.bib4)的最小但有效的扩展——Safe-CRL。Safe-CRL在保留Scaling-CRL深度可扩展性的同时，显著提升了易故障环境中的存活率与目标到达性能。

## 2 CRL中缺失的存活质量

我们现在形式化故障终止如何吸收折扣未来目标占据，并解释为何现有CRL因丢弃该信息而产生高估偏差。随后说明该偏差如何影响评论器学习和演员优化。

### 2.1 问题建模与CRL基础

我们考虑具有故障终止的目标条件MDP：
\[
\mathcal{M}=\left(\mathcal{S}, \mathcal{A}, P, \rho_{0}, \gamma, \mathcal{G}, \phi, F\right)
\]
其中 \(\mathcal{S}\) 和 \(\mathcal{A}\) 分别为状态与动作空间，\(P(s' \mid s, a)\) 为状态转移核，\(\rho_{0}\) 为初始状态分布，\(\gamma \in (0,1)\) 为折扣因子。目标空间为 \(\mathcal{G}\)，\(\phi: \mathcal{S} \rightarrow \mathcal{G}\) 将状态映射至已达成目标。目标条件策略 \(\pi(a \mid s, g)\) 面向指定目标 \(g \in \mathcal{G}\) 行动。二元函数 \(F: \mathcal{S} \times \mathcal{A} \times \mathcal{S} \rightarrow \{0,1\}\) 指示转移是否导致立即终止回合的故障。我们记 \(T_f\) 为从锚点 \((s_t, a_t)\) 测量的故障时界随机变量。

CRL使用对比评论器及目标条件演员，操作于锚点-目标对上。评论器学习状态-动作锚点 \(x=(s,a)\) 与目标 \(g\) 间的对比分数 \(f_{\theta}(x,g)\)。正目标通过事后未来目标重标注获得Eysenbach et al. (2022) (https://arxiv.org/html/2608.26571#bib.bib3);Andrychowicz et al. (2017) (https://arxiv.org/html/2608.26571#bib.bib1)：时界 \(H\) 从折扣几何分布 \(q_{\gamma}(h) = (1-\gamma)\gamma^{h-1}\)（\(h \geq 1\)）中采样，观测达成目标 \(g_{t+H} = \phi(S_{t+H})\) 即为该锚点的正目标。小批中其他锚点关联的目标视为负样本。因此，使用InfoNCE损失训练评论器通过学习更高分数区分正负目标。由于正目标实际从锚点到达，此过程被解释为最大化CRL中的可达性似然Wang et al. (2025) (https://arxiv.org/html/2608.26571#bib.bib4)。

在群体最优点，对比分数表示正负密度比。令 \(p^{+}(g \mid x)\) 为锚点 \(x\) 的正目标分布，并考虑锚点无关的负提议 \(p^{-}(g)\)。对比分数估计为Eysenbach et al. (2022) (https://arxiv.org/html/2608.26571#bib.bib3)
\[
f_{\theta}(x,g) \rightarrow \log \frac{p^{+}(g \mid x)}{p^{-}(g)} + c(x)
\]
其中 \(c(x)\) 为锚点相关偏移。由于 \(x=(s,a)\)，仅行式InfoNCE无法使分数跨候选动作直接可比。因此CRL使用分数校准约束此偏移Eysenbach et al. (2022) (https://arxiv.org/html/2608.26571#bib.bib3)。在校准分数约定下，对于固定指定目标 \(g\)，负提议与动作无关，演员优化简化为最大化条件正目标似然，其中 \(\bar{f}_{\theta}\) 表示校准对比分数：
\[
\arg \max _{a} \bar{f}_{\theta}(x,g)=\arg \max _{a} \log p^{+}(g \mid x)
\]

### 2.2 现有CRL中的高估偏差

接下来，我们展示故障终止和CRL中仅重标注故障前信息如何导致系统性高估偏差。遵循CRL Eysenbach et al. (2022) (https://arxiv.org/html/2608.26571#bib.bib3)，下文占据分析中 \(\pi\) 表示重放诱导的轨迹分布，该分布支撑对比未来目标采样；当重放包含在不同指定目标下收集的轨迹时，理解为相应目标边缘化的重放诱导轨迹分布。对于无限时界（无故障终止）的MDP，Eysenbach等人Eysenbach et al. (2022) (https://arxiv.org/html/2608.26571#bib.bib3)建立了目标到达动作值函数（Q函数）与所谓折扣状态占据的等价性：
\[
\mu_{\infty}^{\pi}(g \mid x)=\sum_{h=1}^{\infty} q_{\gamma}(h) p^{\pi}\left(\phi\left(s_{t+h}\right)=g \mid x_{t}=x\right)
\]
Eysenbach等人命题1 Eysenbach et al. (2022) (https://arxiv.org/html/2608.26571#bib.bib3)表明
\[
Q_{g}^{\pi}(s, a)=\mu_{\infty}^{\pi}(g \mid x)
\]
式(4)的占据度量构成有效正目标分布，其单位概率质量用于式(3)，最大化对比分数等价于最大化目标到达Q函数。

然而，在故障终止下，故障后状态不再是有效未来目标。在此场景中，我们提出：

#### 命题1（Q函数等价于故障感知折扣未来目标占据）

令 \(T_f\) 表示故障时界。定义故障感知折扣未来目标占据为
\[
\mu_{f}^{\pi}(g \mid x)=\sum_{h=1}^{\infty} q_{\gamma}(h) p^{\pi}\left(\phi\left(s_{t+h}\right)=g, \ T_{f}>h \mid x_{t}=x\right)
\]
则有以下等价性：
\[
Q_{g}^{\pi}(s, a)=\mu_{f}^{\pi}(g \mid x)
\]
证明见附录A.1 (https://arxiv.org/html/2608.26571#A1.SS1)。与式(4)中的无限时界占据不同，\(\mu_{f}^{\pi}\) **不是**有效目标分布。它通常是次概率测度，因为故障移除了部分折扣未来占据。其总质量为
\[
Z^{\pi}(x) \triangleq \int_{\mathcal{G}} \mu_{f}^{\pi}(g \mid x) d g=\sum_{h=1}^{\infty} q_{\gamma}(h) \Pr ^{\pi}\left(T_{f}>h \mid x\right)=\mathbb{E}_{H \sim q_{\gamma}}\left[\Pr ^{\pi}\left(T_{f}>H \mid x\right)\right] \leq 1
\]
我们称 \(Z^{\pi}(x)\) 为**存活质量**。直观上，\(Z^{\pi}(x)\) 是从 \(q_{\gamma}\) 采样的未来时界仍位于故障之前的概率。

然而，现有CRL仅使用有效的故障前未来作为正样本，并在进入对比目标前将它们的剩余占据重新归一化为单位质量。因此，故障改变了哪些未来保留，但重归一化后丢失了故障移除的折扣占据量。令 \(\tau\) 表示从锚点 \(x_{t}=x\) 观测的未来轨迹，\(L_{\tau}\) 为故障前有效未来状态数。实现的故障感知占据及其存活质量为
\[
\hat{\mu}_{\tau}(g \mid x)=\sum_{h=1}^{L_{\tau}} q_{\gamma}(h) \mathbf{1}\left\{\phi\left(s_{t+h}\right)=g\right\}, \quad \hat{Z}_{\tau}=\sum_{h=1}^{L_{\tau}} q_{\gamma}(h)=1-\gamma^{L_{\tau}}
\]
CRL在重新归一化其有效未来占据后从该实现轨迹采样正目标，因此轨迹级正分布为 \(\hat{\mu}_{\tau}(g \mid x) / \hat{Z}_{\tau}\)。由构造可知，平均而言
\[
\mathbb{E}_{\tau \mid x}[\hat{\mu}_{\tau}(g \mid x)]=\mu_{f}^{\pi}(g \mid x), \quad \mathbb{E}_{\tau \mid x}[\hat{Z}_{\tau}]=Z^{\pi}(x)
\]