从累积约束到自适应运行时安全控制用于非平稳强化学习

arXiv:2605.18841v1 公告类型: 新 \n 摘要: 安全强化学习通常通过累积成本约束来指定，但这些轨迹级保证并不能直接防止不安全的个体决策，尤其是在非平稳条件下。在持续和非平稳设置中，难度被放大，因为相同动作的风险可能因上下文而异，而固定的状态级阈值可能过于保守或过于宽松。我们提出Constraint Projection Safety Shield (CPSS)，一种运行时机制，在执行过程中将累积安全预算转换为自适应状态级控制约束。CPSS跟踪剩余安全预算，将其投影为时变可接受风险阈值，并过滤预测安全成本超过当前阈值的策略动作。该阈值使用上下文信号在线调整，使得在高要求或快速变化的模式下执行变得更严格，而在可用安全预算充足时限制较少。我们分析了最终的屏蔽策略，并表明该机制保证了已执行动作的每状态阈值满足，诱导出有限范围累积成本界，并在干预频率和每步奖励失真方面给出了性能退化界。我们在使用highway-env的非平稳高速公路合流场景中评估了CPSS。在多个随机种子下，CPSS显著减少了基于接近度的安全违规，增加了间距裕度，同时选择性干预而非主导学习策略。这些结果支持自适应预算到阈值投影作为将累积安全规范转化为持续强化学习系统有效局部安全控制的实用方法。