DiffSlack：通过可学习松弛变量在非线性不等式约束下学习

# DiffSlack：通过可学习松弛变量在非线性不等式约束下进行学习
来源：https://arxiv.org/html/2606.05247
王自谦 & 方晨曦 & 张真通讯作者：张真（邮箱：zzhang＠tsinghua．edu．cn）。王自谦和张真与清华大学高端装备界面科学与技术全国重点实验室（北京100084）以及清华大学机械工程系北京高端装备与技术重点实验室（北京100084）有关。方晨曦与经纬恒润汽车电子事业部有关。

###### 摘要

在神经网络中施加非线性不等式约束仍然具有挑战性，尤其是当输出受限于大量耦合约束时。现有的硬约束方法通常对约束集施加结构限制，或者为大规模非线性问题引入大量计算开销。本文提出DiffSlack，一种用于非线性不等式约束神经预测的可微投影层。DiffSlack通过可学习的松弛变量将不等式重新表述为等式，这些松弛变量作为增强网络输出的一部分被预测，并为阻尼高斯-牛顿投影提供数据驱动的热启动。投影层将原始预测映射到增强的可行流形上，同时保持端到端的可微性。一个两阶段的课程学习进一步稳定了训练并改善了约束满足度。我们在车辆路径规划任务上评估DiffSlack，该任务包含来自碰撞避免、曲率限制和航点间距的200个非线性不等式约束。与现有的基于学习的基线方法相比，DiffSlack在相当推理预算下实现了更高的规划成功率和更强的几何约束满足度。消融实验进一步表明，硬投影层降低了对监督质量的敏感性。在CARLA中的闭环跟踪和真实世界车辆实验证实了生成轨迹的可执行性。这些结果表明，DiffSlack为将硬不等式约束嵌入神经网络提供了一种实用且可扩展的方法，适用于工程应用。

## 1 引言

将领域知识嵌入神经网络已成为提高学习模型可靠性和物理一致性的重要方向 [21 (https://arxiv.org/html/2606.05247#bib.bib33), 13 (https://arxiv.org/html/2606.05247#bib.bib37), 50 (https://arxiv.org/html/2606.05247#bib.bib41)]。可行性约束是这类知识的一种核心形式。它们编码了模型输出在部署时必须满足的物理定律、安全限制和操作要求。然而，标准神经网络主要训练以最小化预测损失，并不能保证推理时的约束满足度。因此，即使准确的预测器在部署到安全关键系统中时也可能产生不可行或不安全的输出。预测准确性与可行性之间的这一差距激发了人们对约束神经预测日益增长的兴趣 [11 (https://arxiv.org/html/2606.05247#bib.bib49), 41 (https://arxiv.org/html/2606.05247#bib.bib50), 28 (https://arxiv.org/html/2606.05247#bib.bib48)]。

现有方法大致可分为三类，如图1 (https://arxiv.org/html/2606.05247#S1.F1) 所示。第一类将约束作为软惩罚项纳入训练目标 [34 (https://arxiv.org/html/2606.05247#bib.bib35), 19 (https://arxiv.org/html/2606.05247#bib.bib34), 36 (https://arxiv.org/html/2606.05247#bib.bib31)]。这种策略简单且应用广泛，但约束满足度取决于惩罚权重和训练数据覆盖范围。因此，在推理时仍可能发生违反，尤其是在分布偏移或任务目标相互竞争的情况下。第二类采用事后安全过滤器，例如控制障碍函数和预测性安全护盾 [49 (https://arxiv.org/html/2606.05247#bib.bib14), 39 (https://arxiv.org/html/2606.05247#bib.bib32), 42 (https://arxiv.org/html/2606.05247#bib.bib30), 2 (https://arxiv.org/html/2606.05247#bib.bib42)]。这些方法可以在部署期间强制安全，但修正通常在预测模型外部进行。这削弱了端到端的监督，并可能在网络输出和修正动作之间产生不匹配。第三类将可微的约束执行层嵌入神经网络 [25 (https://arxiv.org/html/2606.05247#bib.bib27), 32 (https://arxiv.org/html/2606.05247#bib.bib29), 29 (https://arxiv.org/html/2606.05247#bib.bib4), 16 (https://arxiv.org/html/2606.05247#bib.bib3), 3 (https://arxiv.org/html/2606.05247#bib.bib18)]。这些方法允许学习目标考虑修正后的输出，并能提供更强的可行性保证。然而，强制执行一般非线性不等式约束仍然具有挑战性，特别是当约束数量庞大且必须高效计算投影时。

参考图注 图1：神经网络中三种约束处理方法的比较。(a) 软约束将约束作为惩罚项纳入损失函数，但在推理时不提供可行性保证。(b) 事后过滤器在预测后强制执行约束，这可能在原始网络输出和修正动作之间产生不匹配。(c) 硬约束神经网络嵌入了一个可微的约束层，在保持端到端梯度流的同时强制执行可行性。为了解决这些挑战，我们提出了 DiffSlack，一个用于高维非线性不等式约束的可微硬约束投影框架。关键思想是利用可学习的松弛变量将不等式重新表述为等式。与仅在求解器内部引入的常规辅助变量不同，DiffSlack中的松弛变量与任务输出一起被预测。因此，它们在投影前为非活跃约束边界提供了一种摊销初始化。一个阻尼高斯-牛顿投影层随后将增强后的输出映射到由松弛重新定义定义的等式流形上。该层是可微的，可以插入网络中进行端到端训练。为了稳定优化，我们进一步使用两阶段课程学习 [5 (https://arxiv.org/html/2606.05247#bib.bib6)]。第一阶段使用软约束损失和松弛校准训练预测器，而第二阶段激活硬投影层。这种设计允许投影模块在强制执行可行性的同时，在训练期间提供任务感知的修正信号。

我们在约束车辆路径规划上评估 DiffSlack，其中输出轨迹必须满足来自碰撞避免、曲率限制和航点间距的 200 个耦合的非线性不等式约束。我们的实验将 DiffSlack 与经典规划器、软约束学习、DC3 [16 (https://arxiv.org/html/2606.05247#bib.bib3)] 和 ENFORCE [29 (https://arxiv.org/html/2606.05247#bib.bib4)] 进行了比较。结果表明，在规划成功率、几何约束满足度和计算时间之间，DiffSlack 比现有的基于学习的方法实现了更强的权衡。我们进一步在 CARLA [17 (https://arxiv.org/html/2606.05247#bib.bib10)] 和实体车辆上验证了生成的轨迹。

本工作的主要贡献如下：

1.  1. DiffSlack 提供了一个可扩展的可微投影框架，用于非线性不等式约束下的神经预测，其中可学习的松弛变量作为迭代投影的数据驱动初始化。理论分析描述了局部收敛行为和数值条件。
2.  2. 提出了一种两阶段课程学习策略，以稳定使用硬投影层的端到端训练，使网络在激活投影之前能够接近可行流形。
3.  3. 在包含 200 个非线性不等式约束的大规模约束路径规划上的实验表明，DiffSlack 比代表性的基于学习的基线方法实现了更高的成功率和更好的几何约束满足度。CARLA 仿真和真实世界车辆跟踪进一步验证了生成轨迹的可执行性。

## 2 相关工作

软约束方法将物理和操作要求作为惩罚项纳入训练目标，包括基于惩罚的正则化 [12 (https://arxiv.org/html/2606.05247#bib.bib53), 47 (https://arxiv.org/html/2606.05247#bib.bib45), 36 (https://arxiv.org/html/2606.05247#bib.bib31)] 和拉格朗日对偶方法 [19 (https://arxiv.org/html/2606.05247#bib.bib34), 34 (https://arxiv.org/html/2606.05247#bib.bib35)]。这些方法简单且适用范围广，但不能保证推理时的约束满足度。其有效性取决于惩罚权重、优化质量和训练数据的覆盖范围。事后安全过滤器，例如控制障碍函数 [49 (https://arxiv.org/html/2606.05247#bib.bib14), 2 (https://arxiv.org/html/2606.05247#bib.bib42)] 和预测性安全护盾 [42 (https://arxiv.org/html/2606.05247#bib.bib30), 43 (https://arxiv.org/html/2606.05247#bib.bib46)]，在预测后强制执行约束。它们可以提供强大的部署时安全性，但修正通常在预测模型外部进行。这可能在原始网络输出和修正动作之间产生不匹配，尤其是当频繁需要大幅度修正时。一种更集成的策略是通过可微执行层 [26 (https://arxiv.org/html/2606.05247#bib.bib47)] 将约束满足直接嵌入网络架构。此类方法允许训练目标考虑修正后的输出，并能提供更强的可行性保证。我们根据它们所处理的约束类别对它们进行如下回顾。

##### 线性约束

一系列工作利用线性或仿射约束的代数结构来设计具有闭式解或迭代解的高效执行层。HCP [10 (https://arxiv.org/html/2606.05247#bib.bib43)] 通过闭式投影保证网络预测满足控制偏微分方程的有限差分离散化，但仅限于线性等式约束。LOOP-LC [30 (https://arxiv.org/html/2606.05247#bib.bib52)] 通过规范映射将来自 ℓ∞-范数单位球的神经输出映射到可行集，实现了硬线性等式和不等式约束的无迭代可行性，但依赖于线性结构和可用的内点。LinSATNet [45 (https://arxiv.org/html/2606.05247#bib.bib19)] 提出了一种基于 Sinkhorn 的迭代方案，用于对输入无关输出施加正线性约束。GLinSAT [48 (https://arxiv.org/html/2606.05247#bib.bib20)] 将该框架扩展到一般线性约束，其可行性保证随迭代次数增加而收紧。KKT-hPINN [9 (https://arxiv.org/html/2606.05247#bib.bib21)] 通过 KKT 条件将输入相关的线性等式约束嵌入物理信息网络，并通过闭式投影实现严格可行性，但仅限于等式约束。HardNet [33 (https://arxiv.org/html/2606.05247#bib.bib22)] 通过具有闭式前向传递的并行投影层处理输入相关的仿射等式和不等式约束，并在约束架构下建立了通用逼近保证。

##### 凸约束

除了利用线性或仿射结构的方法之外，另一系列工作将更一般的凸可行性或优化问题表述为可微层。OptNet [3 (https://arxiv.org/html/2606.05247#bib.bib18)] 将二次规划嵌入网络，并通过 KKT 条件的隐式微分计算梯度。CvxpyLayers [1 (https://arxiv.org/html/2606.05247#bib.bib23)] 将该思想推广到可在 CVXPY 中表达的凸程序，在正向传递过程中以求解优化问题为代价，实现了更广泛的约束覆盖。为了减少这种开销，RAYEN [40 (https://arxiv.org/html/2606.05247#bib.bib24)] 通过沿着从已知内点出发的射线缩放步长来保证可行性。它支持线性、凸二次、二阶锥和线性矩阵不等式约束，计算成本低。PiNet [23 (https://arxiv.org/html/2606.05247#bib.bib25)] 附加了一个由 Douglas-Rachford 分裂计算的正交投影层，并通过隐函数定理获得梯度。它支持一般的凸约束，包括输入相关的约束。

##### 一般非线性约束

将硬约束执行扩展到一般非线性约束更具挑战性。DC3 [16 (https://arxiv.org/html/2606.05247#bib.bib3)] 通过结合等式补全和基于梯度的修正来解决非线性等式和不等式约束。然而，其收敛性可能对步长选择敏感，并且可能需要多次迭代才能实现严格的可行性。BarrierNet [46 (https://arxiv.org/html/2606.05247#bib.bib26)] 将可微控制障碍函数嵌入二次规划层，用于端到端的安全学习，针对的是安全约束由控制仿射动力学定义的系统。ENFORCE [29 (https://arxiv.org/html/2606.05247#bib.bib4)] 应用自适应深度的 Gauss-Newton 投影，每一步都有闭式更新，并通过在增广乘子空间中使用 Fischer-Burmeister 重新表述来处理不等式约束。KKT-HardNet [25 (https://arxiv.org/html/2606.05247#bib.bib27)] 构建投影问题的完整 KKT 系统，并使用 Newton 或 Gauss-Newton 迭代求解，可选地在非线性代数项的对数-指数变换之后进行。尽管这种公式可以高精度地执行非线性等式和不等式约束，但每个不等式都会引入额外的松弛变量、对偶乘子和互补性方程，导致一个庞大的原始-对偶非线性系统。对于大规模不等式约束的预测问题，这种开销可能变得难以承受。同胚投影 [31 (https://arxiv.org/html/2606.05247#bib.bib28)] 通过可逆神经网络学习约束集与单位球之间的最小失真映射，然后沿着映射半径通过二分法恢复可行性。这为球同胚约束集提供了可行性保证，但最优性边界取决于所学映射的失真。二分投影 [32 (https://arxiv.org/html/2606.05247#bib.bib29)] 通过训练一个辅助网络来预测可行集的内点，然后从这些点进行二分以恢复一般紧致集的可行性，从而放宽了拓扑要求。这两种方法都引入了额外的网络，这增加了训练复杂性并可能引入近似误差。这些局限性促使我们为非线性不等式约束的神经预测寻求一种直接且可扩展的投影机制。

## 3 方法

设 fθ: X → ℝ^N_O 是一个神经网络，将输入 x ∈ X 映射到原始预测 p̂ = fθ(x)。该预测需要满足 N_C 个输入相关的非线性不等式约束

g(x, p)