面向轨迹跟踪的预期强化学习

# 基于预见性强化学习的轨迹跟踪

来源：https://arxiv.org/html/2607.03132

RL强化学习PPO近端策略优化DRL深度强化学习MDP马尔可夫决策过程MPC模型预测控制1-DoF单自由度LQR线性二次型调节器LQI线性二次型积分调节器LTI线性时不变SB3Stable Baselines3TRPO信赖域策略优化ICPS工业信息物理系统CPS信息物理系统PID比例-积分-微分

11institutetext:约瑟夫·雷塞尔智能与安全工业自动化中心，萨尔茨堡应用科学大学，奥地利萨尔茨堡22institutetext:巴黎洛德隆萨尔茨堡大学，奥地利萨尔茨堡
22email:[email protected]

###### 摘要

工业控制中的深度强化学习（DRL）由于仅基于当前跟踪误差进行纯反应式控制，常常导致滞后和超调。为了实现低计算开销的预见性控制，我们引入了一种预测性公式，通过目标速度和未来参考水平线来增强DRL状态空间。在单自由度（1-DoF）直升机测试平台上使用近端策略优化（PPO）对八种配置进行评估，仿真结果显示误差降低了约9倍，平均绝对偏差从2.73°降至0.31°。然而，零样本迁移到物理硬件时出现了仿真到现实的差距。有趣的是，使用单个更远前瞻水平线的更简单配置在真实世界中的最佳性能与最复杂模型持平（1.11°）。总体而言，评估预测水平线和目标速度的各种组合表明，物理迁移并不一定需要高度精细的预测数据。

## 1 引言

工业信息物理系统（ICPS）将物理过程与计算控制相结合，支撑着现代制造、能源管理和智能生产线。强化学习（RL）在优化这些复杂动态环境方面已展现出成功，为数学建模困难的场景提供了数据驱动的控制解决方案 [2 (https://arxiv.org/html/2607.03132#bib.bib8)]。然而，许多深度强化学习（DRL）策略通常基于当前状态和即时参考计算动作，无法预判参考轨迹的未来变化。例如，标准的基准环境和基线控制器往往仅依赖与目标的瞬时偏差（如 [1 (https://arxiv.org/html/2607.03132#bib.bib6),4 (https://arxiv.org/html/2607.03132#bib.bib3)]）。因此，这些智能体经常表现出滞后和超调，因为它们无法预判即将到来的轨迹变化。相比之下，经典控制策略如模型预测控制（MPC）则系统性地融入了未来参考轨迹。然而，计算最优执行序列需要在每个时间步求解优化问题。这种高计算需求限制了MPC在实时工业应用中的使用。而DRL的训练完成后在线推理计算开销低。为了弥合MPC的前瞻性与DRL的计算效率之间的差距，本工作中的论文提出了一种面向工业机电系统的预测性问题公式。我们的主要贡献有两个方面：（i）通过将未来目标变量和当前目标速度纳入智能体的观测中，将“前瞻性”嵌入到DRL状态空间中。（ii）在物理单自由度（1-DoF）直升机测试平台上系统地评估这些预测性智能体的仿真到现实迁移能力，以评估其在参考跟踪方面的性能。

## 2 问题公式化与实验设置

实验设置采用Quanser Aero 2测试平台的1-DoF配置。我们按照文献[5 (https://arxiv.org/html/2607.03132#bib.bib4)]中的描述访问仿真和物理系统。基于我们先前的问题公式[4 (https://arxiv.org/html/2607.03132#bib.bib3)]，我们重新定义了跟踪问题，以更好地符合物理硬件的动态约束。不再使用阶跃函数作为参考信号（对于机械系统，物理上无法跟踪），而是将目标生成改为连续的S形曲线和恒定段。这些S形曲线提供了物理上可行的可微轨迹。这防止了智能体过度拟合由刚性阶跃函数引起的非现实的瞬时误差跳变，迫使其学习广义的动态跟踪行为。在纯反应式设置中，时间t的环境状态定义为 s_t = (θ_t, ω_t, r_t)，其中θ_t是俯仰角，ω_t是角速度（计算为Δθ/Δt），r_t是当前参考值。为了嵌入预测性“前瞻”，我们通过包含目标速度ṙ_t（解析计算）以及直接从轨迹采样的未来目标点水平线来增强此状态空间。增强后的状态空间公式化为 s_t = (θ_t, ω_t, r_t, ṙ_t, r_{t+1·Δt}, ..., r_{t+N·Δt})。这里，N表示提供给智能体的未来目标数量，Δt定义了这些未来轨迹点之间的固定时间间隔。为了解决此控制任务，我们选择了近端策略优化（PPO）算法，因为它具有理论上的策略改进保证以及在连续动作空间中已被证实的稳定性。该算法使用Stable Baselines3库[3 (https://arxiv.org/html/2607.03132#bib.bib7)]实现。为了隔离预测特征的影响，我们系统评估了八种状态空间配置，这些配置通过将目标速度ṙ和前瞻水平线（N个未来目标，间隔Δt不同）的各种组合增强到纯反应式基线上形成。（2）目标速度：仅增强ṙ_t；（3）未来目标：增强N个未来目标，间隔Δt不同；（4）组合：同时集成ṙ_t和未来目标。

为确保统计显著性，每种配置在仿真中使用不同的随机种子进行了10次独立训练。主要评估指标是到目标轨迹的平均绝对偏差。最后，为了评估仿真到现实的差距，从每种配置中选择性能最佳的单个智能体直接部署到物理硬件上，并使用一条代表性的S形轨迹进行评估。

## 3 结果与讨论

所有八种评估配置的实验结果总结在表 1 中。在仿真环境中，引入预测性状态变量使跟踪精度提升了约9倍。纯反应式基线智能体难以跟踪连续的S形曲线，平均绝对偏差为2.73° ± 0.18°。相比之下，完全组合的预测性智能体（同时使用目标速度ṙ_t和N=4个未来目标，Δt=0.5秒间隔）实现了近乎完美的跟踪，偏差仅为0.31° ± 0.10°。仿真数据的一个关键发现是前瞻水平线长度的影响。当仅向智能体提供一个未来目标（N=1）时，Δt=1.0秒的时间间隔显著优于短的Δt=0.1秒间隔（分别为0.85° ± 0.06° 与 1.70° ± 0.13°）。这种行为可以归因于1-DoF系统的物理惯性。0.1秒的前瞻时间不足以让智能体加速或减速横梁。相反，1.0秒的水平线允许智能体平滑地“预转向”并主动施加控制努力，最大限度地减少滞后。为了可视化这一改进，图1展示了基线智能体与预测性智能体相对于参考信号的跟踪行为。

请参见图注：图1：反应式基线与最佳预测智能体的仿真评估曲线图，显示S形俯仰跟踪（上）、目标偏差误差（中）和施加的控制电压（下）。

虽然仿真结果显示了预测公式的显著改进，但在物理硬件上的真实世界验证揭示了经典的仿真到现实差距。最复杂的智能体（ṙ_t, N=4, Δt=0.5秒）在仿真中表现最佳。然而，在物理硬件验证中，这种增强最多的配置并未优于更简单的模型；相反，它取得了与一个不包含目标速度、仅有一个未来目标且Δt=1.0秒的智能体相同的最佳性能。这一现象为缓解仿真到现实差距提供了宝贵见解。通过向智能体提供高度精细的密集轨迹数据，神经网络能够利用仿真模型的理想化、无噪声动力学。然而，物理系统存在未建模的摩擦、通信延迟和传感器噪声。正如近期关于仿真到现实差距的文献[6 (https://arxiv.org/html/2607.03132#bib.bib2)]所观察到的，完美优化了仿真动力学的策略在现实中往往变得脆弱。由于更简单的预测公式在硬件性能上与最复杂的智能体相匹配，显然高度密集的轨迹数据对于最佳物理迁移并非严格必要。相反，更简单、更宽广的前瞻水平线充当了有效的正则化器。它提供了足够的前瞻性来克服系统的惯性，同时保持足够的抽象性以忽略仿真与真实世界测试平台之间微小的动态差异，从而在牺牲真实世界精度的情况下提供了计算效率更高的状态空间。

表 1：不同预测性状态表示的跟踪性能比较。ṙ：包含目标速度。N：未来目标点的数量。Δt：未来目标之间的时间间隔（秒）。数值表示以度（°）为单位的绝对俯仰偏差。最差、最佳、平均值和标准差分别指10次独立仿真运行中跟踪误差的最大值、最小值、平均值和标准差。

## 4 结论与未来工作

我们证明了标准DRL在物理跟踪中的性能限制主要源于其纯反应式的问题公式。将预测性前瞻水平线嵌入到状态空间中弥合了反应式人工智能与最优控制之间的差距。这种增强公式使智能体能够预判轨迹变化并补偿物理惯性，从而实现高精度的连续跟踪。对于工业而言，这种方法提供了一种非常理想的权衡：神经网络轻量级的在线推理，同时保持稳定复杂工厂所需的高精度。此外，仿真到现实的验证强调，较粗糙的预测水平线充当了鲁棒的正则化器，防止过度拟合仿真动力学。未来的工作将扩展此方法。首先，为了减轻对先验目标轨迹的依赖，我们将探索通过监督学习学习任务特定运动模式的轨迹预测模型。其次，我们计划直接在硬件上进行微调，并在更广泛的(N, Δt)网格上进行统计严谨的硬件评估。第三，我们旨在将此预测公式扩展到多自由度机器人系统，以应对复杂的制造任务。最后，我们将针对先进的MPC对我们的智能体的实时性能和计算开销进行基准测试。

### 致谢

本研究的经济支持由克里斯蒂安·多普勒研究协会（CDG）通过约瑟夫·雷塞尔智能与安全工业自动化中心、萨尔茨堡州的相应WISS合作项目以及欧洲Interreg项目BA0100172 AI4GREEN提供。在准备本工作期间，作者使用了人工智能工具进行语言编辑和格式辅助。

## 参考文献

- [1] G. Brockman, V. Cheung, L. Pettersson, J. Schneider, J. Schulman, J. Tang, and W. Zaremba (2016) Openai gym. arXiv preprint arXiv:1606.01540. Cited by: §1 (https://arxiv.org/html/2607.03132#S1.p1.2).
- [2] R. Nian, J. Liu, and B. Huang (2020) A review on reinforcement learning: introduction and applications in industrial process control. Computers & Chemical Engineering 139, pp. 106886. Cited by: §1 (https://arxiv.org/html/2607.03132#S1.p1.2).
- [3] A. Raffin, A. Hill, A. Gleave, A. Kanervisto, M. Ernestus, and N. Dormann (2021) Stable-baselines3: reliable reinforcement learning implementations. Journal of machine learning research 22 (268), pp. 1–8. Cited by: §2 (https://arxiv.org/html/2607.03132#S2.p1.17).
- [4] G. Schäfer, T. Krau, J. Rehrl, S. Huber, and S. Hirlaender (2025) The crucial role of problem formulation in real-world reinforcement learning. In 2025 IEEE 8th International Conference on Industrial Cyber-Physical Systems (ICPS), pp. 1–6. Cited by: §1 (https://arxiv.org/html/2607.03132#S1.p1.2), §2 (https://arxiv.org/html/2607.03132#S2.p1.17).
- [5] G. Schäfer, M. Schirl, J. Rehrl, S. Huber, and S. Hirlaender (2024) Python-based reinforcement learning on simulink models. In International Conference on Soft Methods in Probability and Statistics, pp. 449–456. Cited by: §2 (https://arxiv.org/html/2607.03132#S2.p1.17).
- [6] A. Wagenmaker, K. Huang, L. Ke, K. Jamieson, and A. Gupta (2024) Overcoming the sim-to-real gap: leveraging simulation to learn to explore for real-world rl. Advances in Neural Information Processing Systems 37, pp. 78715–78765. Cited by: §3 (https://arxiv.org/html/2607.03132#S3.p2.4).