基于贝叶斯优化的节能强化学习样本高效帕累托前沿建模

# 样本高效的帕累托前沿建模：基于贝叶斯优化的能量感知强化学习

来源：https://arxiv.org/html/2607.03140
11institutetext:约瑟夫·雷塞尔智能与安全工业自动化中心，
萨尔茨堡应用科学大学，萨尔茨堡，奥地利22institutetext:人工智能与人机交互系，
巴黎-洛德隆萨尔茨堡大学，萨尔茨堡，奥地利
22email:georg\.schaefer@fh\-salzburg\.ac\.at###### 摘要

工业自动化日益需要能够在运行性能与严格的能效要求之间取得平衡的控制策略。解决这一多目标问题的常用方法（尤其是在强化学习框架内）是构建一个单一的标量奖励函数，线性组合相互冲突的目标。然而，对这些不同目标进行手动加权高度依赖领域直觉，极其耗时，容易产生人为偏差，并且常常无法发现最优的权衡解。本文致力于解决自动选择权重以系统且高效地发现最优权衡策略帕累托前沿的关键挑战。我们将权重选择过程表述为多目标贝叶斯优化问题，并以标准均匀网格搜索基线为基准评估其样本效率。利用配置为单自由度俯仰控制的物理Quanser Aero 2实验平台，我们的结果表明，采用期望超体积改进采集函数的多目标贝叶斯优化方法始终优于均匀网格采样。多目标贝叶斯优化在超体积和最大展宽方面取得了更优的结果，成功以更少的评估预算识别出高质量、多样化的权衡策略，从而在复杂机电系统中实现高效的能量感知控制。

## 1 引言

工业自动化的快速现代化带来了一个关键的设计范式：系统不再仅仅为运行性能而优化，还必须同时满足严格的能效和可持续性约束[2 (https://arxiv.org/html/2607.03140#bib.bib9)]。传统的控制方法虽然鲁棒性强，但往往难以适应现代机电系统中高度非线性的动力学、复杂的环境交互以及不断变化的目标。因此，强化学习成为一种强大的数据驱动框架，能够通过与环境的持续交互来学习最优控制策略[6 (https://arxiv.org/html/2607.03140#bib.bib10)]。事实上，最近的实证评估表明，在非线性机电系统上，与传统的模型预测控制相比，策略梯度方法可以表现出极具竞争力的适应性和快速响应特性[15 (https://arxiv.org/html/2607.03140#bib.bib39)]。

然而，将能效整合到强化学习框架中，从根本上将控制任务转变为一个多目标优化问题。智能体必须平衡至少两个固有冲突的目标：最大化主要运行性能（如精确的设定点调节、动态轨迹跟踪或过程吞吐量），以及最小化执行机构所消耗的物理能量。传统方法通常通过固定、手动调整的奖励惩罚将能耗视为次要启发信息。虽然我们的方法使用类似的线性标量化来组合相互冲突的目标，但我们通过构建一个自动发现最优权衡曲面的框架，解决了手动调整的关键局限性[13 (https://arxiv.org/html/2607.03140#bib.bib4)]。

在工业实践中，这种选择主要通过手动调整完成。控制工程师凭直觉选择一个权重，训练一个完整的强化学习智能体，评估其物理性能，然后根据观察到的结果迭代调整权重。这种方法极其耗时，非常容易受到人为偏差的影响，并且常常无法发现真正的帕累托前沿，即一组最优解，其中任何一个目标的改进都必须以其他目标的恶化为代价[4 (https://arxiv.org/html/2607.03140#bib.bib13)]。由于在物理硬件或高保真度模拟器上训练强化学习智能体计算成本高昂，且会使机械设备产生物理磨损，因此迫切需要对这一过程进行样本高效的自动化。

为应对这些挑战，本文提出了一种用于建模能量感知连续控制中最优权衡曲面的自动化框架。我们的主要贡献如下：

- •我们将多目标奖励权重过程表述为一个黑箱优化问题，并应用多目标贝叶斯优化来自动发现帕累托前沿。
- •我们利用Quanser Aero 2机电实验平台的高保真环境，对所提出的多目标贝叶斯优化方法与标准均匀网格搜索基线进行了严格的实证比较。
- •我们证明，多目标贝叶斯优化在多个定量指标（超体积、间距、最大展宽）上实现了更优的帕累托前沿近似，同时显著减少了所需的计算预算和环境交互次数。

本文的其余部分结构如下。第2节 (https://arxiv.org/html/2607.03140#S2)提供了必要的理论背景，并讨论了多目标强化学习和贝叶斯优化领域的相关工作。第3节 (https://arxiv.org/html/2607.03140#S3)详细介绍了机电实验平台的系统架构，并正式定义了强化学习问题。第4节 (https://arxiv.org/html/2607.03140#S4)概述了我们的实现和评估方法。最后，第5节 (https://arxiv.org/html/2607.03140#S5)讨论了实证结果，随后在第6节 (https://arxiv.org/html/2607.03140#S6)给出总结以及对未来研究方向的展望。

## 2 背景与相关工作

### 2.1 多目标强化学习

标准强化学习基于最大化单一标量奖励信号的前提，传统上建模为马尔可夫决策过程[20 (https://arxiv.org/html/2607.03140#bib.bib11)]。然而，工业应用固有地涉及多个相互冲突的反馈信号。正如Roijers等人[13 (https://arxiv.org/html/2607.03140#bib.bib4)]所指出的，当最终用户的特定性能与能量偏好事先未知时，通过固定标量化将多目标问题转化为单目标问题通常不可取。在这种情况下，目标从寻找单一最优策略转变为识别帕累托最优策略集。最近的文献强调，需要显式的多目标方法才能有效解决复杂的规划问题[5 (https://arxiv.org/html/2607.03140#bib.bib5)]。设策略π的性能由目标函数向量J(π)=[J₁(π),J₂(π),...,Jₖ(π)]ᵀ来评估。如果不存在另一个策略π满足对所有目标i有Jᵢ(π) ≤ Jᵢ(π*)，并且至少对一个目标j有Jⱼ(π) < Jⱼ(π*)，则策略π*被认为是帕累托最优的[8 (https://arxiv.org/html/2607.03140#bib.bib14)]。所有此类非支配策略评估的集合构成了帕累托前沿。

### 2.2 工业自动化中的能量感知控制

在现代工业机器人技术中，平衡系统性能（如精确轨迹跟踪或操作）与能效至关重要。传统方法通常将能耗视为次要启发信息或简单的奖励惩罚。然而，可持续运行要求明确调节执行能量。最近的框架通过将任务视为约束马尔可夫决策过程或多目标问题来解决这一问题，旨在最小化长期能量预算，同时保持严格的操作可靠性[7 (https://arxiv.org/html/2607.03140#bib.bib8)]。我们的方法与此范式一致，直接对跟踪误差与功耗之间的权衡进行建模，特别关注自动发现最优权衡曲面。

### 2.3 用于帕累托前沿建模的贝叶斯优化

为了在不针对每种可能的权重组合穷尽训练强化学习策略的情况下绘制帕累托前沿，需要样本高效的黑箱优化。贝叶斯优化[19 (https://arxiv.org/html/2607.03140#bib.bib15)]已成为优化昂贵函数的常用方法，它利用高斯过程[12 (https://arxiv.org/html/2607.03140#bib.bib16)]代理模型来近似目标景观并量化不确定性。在多目标背景下，高斯过程与专门的采集函数（如期望超体积改进[3 (https://arxiv.org/html/2607.03140#bib.bib17)]）相结合，以智能选择能最大程度扩展非支配解集的查询点。最近的进展集中在高效评估帕累托前沿熵[21 (https://arxiv.org/html/2607.03140#bib.bib6)]以及选择多样化的参数批次以确保广泛覆盖[1 (https://arxiv.org/html/2607.03140#bib.bib7)]。我们的工作直接应用这些多目标贝叶斯优化原则来自动化强化学习奖励函数的超参权重。

## 3 系统架构与问题表述

### 3.1 Quanser Aero 2 实验平台

为了严格验证我们的方法，我们需要一个具有非线性动力学和可测量物理能量状态的机电系统。我们使用Quanser Aero 2系统（图1 (https://arxiv.org/html/2607.03140#S3.F1)）。在本评估范围内，实验平台配置为单自由度：偏航轴被机械锁定，而俯仰轴保持解锁并可自由旋转。

参见图注
图1：Quanser Aero 2 机电实验平台。在本研究中，系统配置为单自由度模式，其中偏航轴锁定，俯仰轴通过双直流电机控制。该系统由两个带螺旋桨的直流电机驱动。设u₀和u₁表示施加到相应电机的电压信号。在单自由度俯仰配置中，控制输入u是对称的，定义为u = u₀ = -u₁。主要输出y = Θ 表示主梁的俯仰角。由于螺旋桨的气动阻力、摩擦和推力特性，系统动力学本质上是非线性的，为评估先进的学习控制算法提供了一个成熟且极具代表性的基准[15 (https://arxiv.org/html/2607.03140#bib.bib39)]。

### 3.2 状态与动作空间表述

分配给近端策略优化智能体[18 (https://arxiv.org/html/2607.03140#bib.bib12)]的任务是使主梁朝向期望的、时变的目标角度，同时最小化直流电机消耗的电功率。状态空间S是完全可观察的，并表示为包含当前俯仰角、角速度和当前目标参考角度的连续向量：

sₜ = [Θₜ, Θ̇ₜ, Θₜʳᵉᶠ]ᵀ (1)

动作空间A包含施加到电机上的连续电压信号，其范围受硬件物理限制：

aₜ = [uₜ] ∈ [-24V, 24V] (2)

### 3.3 奖励函数设计

智能体的行为完全由标量化奖励函数中的参数α决定。在每个时间步t，奖励Rₜ计算如下：

Rₜ = -(1-α)·|Δₜ| - α·Pₜ (3)

为了确保稳定的神经网络更新和有意义的标量化，项Δₜ（绝对跟踪误差）和Pₜ（功耗）被归一化到[0, 1]范围。正如我们先前关于强化学习环境表述的研究所证明的，观测空间和动作空间的严格归一化是实现策略稳定收敛以及将模拟策略成功迁移到物理系统的关键先决条件[14 (https://arxiv.org/html/2607.03140#bib.bib48)]。功耗Pₜ基于施加的电压和Aero 2电机的内阻特性动态计算。通过在我们先前的工作[17 (https://arxiv.org/html/2607.03140#bib.bib53)]中操纵α∈[0,1]，我们观察到该问题涵盖了从最大跟踪性能到最大能量节约的整个谱系，验证了其作为核心可调超参数的有效性。

## 4 方法

### 4.1 软件与实现细节

强化学习环境被构建为物理Quanser Aero 2系统的高保真数字孪生，以确保所有训练的策略高度可部署。该环境利用我们先前建立的Python-Simulink联合仿真框架[16 (https://arxiv.org/html/2607.03140#bib.bib38)]，该框架能够将数值鲁棒的Simulink模型与灵活的基于Python的机器学习环境无缝集成。PPO[18 (https://arxiv.org/html/2607.03140#bib.bib12)]智能体利用Stable Baselines3框架[11 (https://arxiv.org/html/2607.03140#bib.bib1)]实现，并以PyTorch[10 (https://arxiv.org/html/2607.03140#bib.bib3)]作为自动微分和神经网络优化的后端。演员网络和评论家网络均采用连续多层感知器架构。

### 4.2 MOBO-RL集成工作流

为了自动发现帕累托前沿，我们将强化学习训练过程集成到一个由BoTorch/Ax库[9 (https://arxiv.org/html/2607.03140#bib.bib2)]管理的外层优化框架中。优化通过定义连续参数边界α∈[0.0, 1.0]以及两个最小化目标：跟踪误差（f₁）和功耗（f₂）来初始化。

Stable Baselines3 <-> Ax / BoTorch API <-> MOBO控制器 (GP + qEHVI)
- 建议最优权重α
- 强化学习训练阶段：PPO rollout与更新，收敛到策略πᵢ
- 策略评估：运行验证配置文件，测量f₁, f₂
- 代理模型更新：通过API完成试验，更新GP后验

采样αᵢ → 训练好的策略πᵢ → 产生(f₁,ᵢ, f₂,ᵢ) → 记录数据

图2：所提出的MOBO-RL集成工作流。贝叶斯优化器迭代采样奖励权重参数α。对于每个采样的权重，训练一个强化学习智能体直至收敛，并评估其物理性能。由此产生的经验观测值更新代理模型，以智能地指导未来的采样。该框架的结构如图2 (https://arxiv.org/html/2607.03140#S4.F2)所示。代理模型使用高斯过程近似目标函数。对于每次顺序试验，优化器查询该代理模型，利用期望超体积改进 (qEHVI) 采集函数建议下一个最有希望的α权重。实例化一个全新的PPO智能体，并使用这个特定的标量化奖励公式训练至收敛。训练完成后，将得到的策略π部署在确定性评估环境中，以记录真实的目标函数值，这些值随后反馈给代理模型以更新其后验分布。此循环重复进行，直到预算用完或代理模型对帕累托前沿的近似达到满意程度。这种工作流通过消除冗余训练并专注于信息量最大的配置，最大限度地提高了样本效率。