认证安全策展：安全离线强化学习的无分布保证

# 认证安全策展：安全离线强化学习的无分布保证
来源：https://arxiv.org/html/2609.12014  
Cody Fleming  
隶属机构：艾奥瓦州立大学  
地址：美国艾奥瓦州埃姆斯  
邮箱：[\{aharoon,flemingc\}@iastate\.edu](mailto:)

###### 摘要
安全离线强化学习假设每次状态转移都有代价函数。本文探讨当仅能通过比较短片段以及偶尔判断整个回合是否超出预算来评估安全性时，我们还能实现什么。认证安全策展通过“过滤后克隆”流程给出答案：一个仅基于状态的价值函数通过片段比较训练，用于评估完整轨迹；Learn-then-Test校准确保在所选数据中不安全轨迹占比不超过α的前提下，以至少1-δ的概率通过无分布（α,δ）界进行认证；随后进行行为克隆。据我们所知，此前尚无工作对离线强化学习或模仿学习的训练集构成进行认证。Oracle控制实验验证了设计的合理性：即使拥有精确的价值函数，单步转移的重加权策略也会失败，因此价值函数应用于完整轨迹选择。所学策略在15个DSRL任务中的11个满足代价预算，仅比克隆完全标注的安全子集（需要每条轨迹都有标签）少一个；未经认证的变体则达到12个。在经过认证的子集上重新训练后，最强的完全标注方法变得安全，而调整其自身代价目标则无法实现。拒绝行为具有可预测性：认证概率在池中纯净度方面具有闭合形式，由校准样本估计，而评分器仅通过纯净度影响结果。

## 1 引言
离线强化学习承诺仅通过日志数据实现策略改进，其安全约束变体进一步要求所学策略保持期望代价低于预算（Liu et al., 2023a）。现有的安全离线RL方法需要在数据集的每次转移上评估代价函数（Liu et al., 2023b; Zheng et al., 2024; Gong et al., 2025）。在基准测试中代价函数是给定的；难点在于其上游——如何具体定义这个函数。指定一个能忠实捕捉“不安全”含义的代价，正是奖励工程已证明存在的问题，这也是偏好学习存在的原因（Christiano et al., 2017）。当无法指定可信的代价函数时，从业者仍可能能够判断两个短片段哪个更安全，并偶尔判断一个回合是否超出预算。本文探讨，仅凭这两个较弱的信号，安全离线RL还能提供什么。近期工作已开始将偏好引入安全离线RL（Gong et al., 2026; Burnwal et al., 2026）。然而，其中没有一项提供监督与所学策略安全性之间的统计保证。

图1：认证安全策展。一个仅基于状态的价值函数通过片段比较（携带排序信息但无量级）进行训练，用于评估完整轨迹。一个阈值切割分数轴，200个回合预算标签审计存活轨迹，在（α,δ）下认证选择，或拒绝并返回报告为未经认证的保守选择；无论哪种情况，选择的数据都会被克隆，认证的选择可能先为奖励进行策展（第4.4节）。路径和密度是说明性的，并非测量值。

我们研究的问题是：一个*仅基于状态*的安全价值函数（从未见过动作，仅通过比较训练）能否足够好地识别安全训练数据以获得认证？我们的答案是认证安全策展（图1），一种过滤后克隆方法，其核心成果是对训练数据的统计保证：价值函数评估完整轨迹，阈值进行选择，阈值通过Learn-then-Test校准（Angelopoulos et al., 2025）根据少量标注样本确定，从而产生无分布保证。在至少1-δ概率下（相对于校准抽样），所选训练集中的不安全轨迹占比不超过α。该保证消耗200个预算超出判断（每个采样轨迹一个比特），而竞争方法需要在每条轨迹的每次转移上都有代价值。一项具有独立意义的经验分析为设计提供了依据：自然的替代方案——优势加权回归（Peng et al., 2019）——由于两个叠加原因而失败，且两者都指向同一方向：在偏好训练识别价值的地方以及选择保持行为完整性的规模——即完整轨迹的规模——上使用该价值。

我们的贡献包括：
1.  一个粒度分析，通过Oracle控制确立读出规模而非监督是约束性选择，包括中间片段规模在完全标注下失败（BC-Safe-Seg在15个任务中仅有2个安全，而轨迹规模在12个任务上安全，第5节）；
2.  认证策展，通过Learn-then-Test对选择阈值进行校准（基于200个预算超出标签），提供（α,δ）保证的训练集构成，并在得分无法将安全性集中到α以下时精确拒绝（第4.3节）；
3.  对监督所获收益的实证分析：CDT在八个目标与按钮任务上，即使代价目标低至预算的五分之一也违反约束，但在认证选择上变得安全；而仅在校准标签上训练的分类器与校准过滤器的安全任务数相匹配，将其比特替换为数值代价并不能改善结果，因此区分方法的是认证而非评分器准确性或监督丰富度（第6节）。

## 2 相关工作
##### 过滤与加权行为克隆。在克隆前选择或重加权数据在基于奖励的方法中已很成熟：百分位行为克隆按回报对轨迹进行排名（Chen et al., 2021; Emmons et al., 2021），BAIL选择靠近回报包络的转移（Chen et al., 2020），CRR和AWR根据学习到的优势对转移进行加权（Wang et al., 2020; Peng et al., 2019），同期工作使用学习到的反馈模型在克隆前对演示进行评分（Liang et al., 2026; Beck, 2025）。这一方向以任务成功为目标；其中没有一项解决安全约束，且所有阈值都是手动调整的。

##### 安全离线RL。具有完全代价标签的方法包括约束序列建模（Liu et al., 2023b）、可行性引导扩散（Zheng et al., 2024）和轨迹分类（Gong et al., 2025）。DSRL基准测试的BC-Safe基线克隆预算内的轨迹，即每条轨迹都有一个标签（Liu et al., 2023a）。基于偏好和弱标签的变体正在涌现：PReSa在拉格朗日目标内消耗二元片段安全标签（Gong et al., 2026）；OSIL从数据集级偏好中学习每步代价模型并将其作为克隆惩罚（Burnwal et al., 2026）；PREFINE从偏好中微调隐式奖励和代价模型以实现安全对齐（Verma et al., 2026）。这些方法均未使用偏好学习的价值函数选择训练数据，且都没有统计保证。

##### 无分布风险控制。Learn-then-Test和风险控制预测集使用有限样本保证校准模型配置（Angelopoulos et al., 2025; Bates et al., 2021; Angelopoulos et al., 2024）。在RL和控制领域，已发表的应用集中在部署时：保形off-policy区间（Taufiq et al., 2022）、运行时监控器（Feldman et al., 2026）和高置信度策略改进（Thomas et al., 2015; Laroche et al., 2019）。最接近的统计亲属是保形选择（Jin and Candès, 2023），它在错误发现率控制下筛选候选单元；FDR是一个期望界，弱于我们校准的（α,δ）高概率界。我们的校准是标准的Learn-then-Test，对有限池使用精确的超几何替换；其贡献在于它所认证的对象——训练集的构成，以及该证书所带来结果的实证研究。

## 3 预备知识
受约束马尔可夫决策过程（S, A, P, r, c, b）在满足 J_c(π) ≤ b 的约束下最大化回报；离线设置提供静态数据集 D = {τ_i}_{i=1}^N。当回合代价超出预算时，我们称该轨迹不安全，并用 u(τ) ∈ {0,1} 表示此指标。受约束MDP按定义提供c，基准测试将其应用于每次转移；我们的方法从不读取c，而是使用两个较弱的信号：一个偏好数据集 D_pref，包含长度为H的片段对 (σ^+, σ^-)，每个对仅标注哪个更安全（排序而非量级）；以及，仅用于校准，从D中均匀无放回抽取n条轨迹的*代价标签*（二元指标 u(τ)），这使得第4.3节的有限总体检验是精确的。我们称提供这些信号的人为*标注者*；在我们的实验中，它是基准测试自身的代价函数，这使我们可以在不因标注者错误而混淆的情况下研究算法。我们报告原始奖励和回合代价相对于每个任务预算的情况；当策略的期望代价在预算内时，它是安全的（附录G）。

## 4 方法：认证安全策展
该方法分为四个阶段：价值学习、轨迹评分、校准选择和克隆。图表放置和伪代码推迟到附录A。

### 4.1 来自片段偏好的安全价值
我们通过Bradley-Terry模型（Bradley and Terry, 1952）在片段和上进行最大似然学习一个仅基于状态的价值函数 V_θ: S → ℝ，损失函数为：
L(θ) = -E_{(σ^+, σ^-) ~ D_pref} [log logistic(∑_{t=1}^H V_θ(s_t^+) - ∑_{t=1}^H V_θ(s_t^-))],
(1)
其中 logistic(z) = 1/(1 + e^{-z})。我们训练K=3个独立初始化的网络集合，并用 \bar{V} 表示它们的均值。集合并非使选择有效的关键，单个成员在过滤精度上与其相差在0.006以内（附录M）；我们保留它是因为成员差异是第5节用于定位价值已被和未被识别的诊断工具。公式(1)仅监督片段和：任何在每个偏好对中和保持不变的扰动对损失不可见，因此单状态值是欠定的，聚合是价值可靠的范围，第5节对此进行了量化。

### 4.2 轨迹评分与选择
每条轨迹得到分数 g(τ) = (1/|τ|) ∑_{s_t ∈ τ} \bar{V}(s_t)，在阈值 λ* 下的选择为 S(λ*) = {τ_i : g(τ_i) ≥ λ*}。策略通过在 S(λ*) 上进行行为克隆获得。对数百个状态进行平均可以抵消公式(1)留下的未约束的单状态噪声，并在轨迹级别进行选择可以保留完整的多步避险行为，而单转移重加权会将其碎片化。

### 4.3 具有构成保证的校准阈值
阈值是方法中唯一的自由参数，我们通过Learn-then-Test（LTT）进行选择（Angelopoulos et al., 2025）。设 C 是从 D 中均匀无放回抽取的 n 条轨迹的校准样本，每条携带其二元标签 u(τ)。对于递减的候选阈值网格 λ_1 > λ_2 > ...（分数分位数从0.85下降到0.30），令 N_j = |S(λ_j)| 为选择大小，令 m_j 和 k_j 分别为校准轨迹中高于 λ_j 的数量和其中不安全的数量。由于池是有限的且选择大小已知，原假设（即选择包含超过 αN_j 条不安全轨迹）允许精确检验：在最不利原假设下，不安全校准计数服从超几何分布，p_j = F_hyp(k_j; N_j, ⌊αN_j⌋ + 1, m_j) 是一个超均匀的p值，其中 F_hyp 是超几何累积分布函数。严格的固定序列检验按顺序检验假设，每个在水平 δ 下进行，在第一次未能拒绝时停止，并返回最后一个被拒绝的阈值；如果第一次检验失败，则没有阈值被认证。

###### 命题 1。返回的阈值 \hat{λ} 满足
Pr[一个阈值被认证 ∧ \widehat{unsafe}(S(\hat{λ})) > α] ≤ δ,
(2)
其中 \widehat{unsafe}(S) = (1/|S|) ∑_{τ∈S} u(τ) 是数据集 D 本身的不安全比例，概率基于均匀校准抽样。证明见附录B。有效性无需假设不安全比例随阈值上升而下降：按固定顺序检验并在第一次失败时停止意味着真实的原假设在拒绝后永不再被检验，单调性仅影响*功效*。网格和分数在抽取校准样本前即已固定。