NOML-NOML：分层TD3 + 锚定策略用于飞行控制[P]

Reddit r/MachineLearning 工具
reinforcement-learning continuous-control flight-control hierarchical anchor-policy open-source

摘要

介绍了NOML，一种用于连续飞行控制的自定义强化学习算法，它采用分层actor、锚定策略和镜像学习来防止振荡并提高稳定性。该代码已在GitHub上开源。

我构建了一个用于连续飞行控制的自定义强化学习算法并已开源。在此分享，希望这些结构思路能对从事连续控制（其中某一动作轴占主导地位）的人有所帮助。我一直在六自由度飞行模拟器（俯仰/横滚/偏航/油门/刹车/开火）上训练连续控制，但总是遇到同一个难题：普通的TD3算法在达到峰值后会陷入俯仰振荡且无法恢复。我曾尝试过奖励塑形，但最终得出结论：问题是结构性的，而非奖励设计。NOML便是由此诞生的。它在标准TD3框架基础上做了三项结构改动： * **锚定策略** — 动作为 `anchor + delta·gate`，其中anchor是一个固定的安全动作（机翼水平，军用推力）。该策略从根本上无法完全忘记如何平飞；即使策略崩溃，最坏的情况也只是退回到anchor上。 * **分层actor** — 三个MLP各自带有独立优化器（俯仰→横滚→其余），这样横滚侧的梯度更新就不会破坏俯仰头。这实际上解决了我的振荡问题。 * **镜像学习** — 左右对称性意味着每个转移都能镜像生成一个免费的第二个样本。当环境步数是瓶颈时，数据量翻倍。 有一件事让我感到意外，且与常规建议相悖：我最好的结果是在探索噪声几乎关闭的情况下取得的。在此任务中，添加高斯动作噪声主要只会抖动操纵杆并造成损害。锚定+门控结构似乎足以扮演噪声通常承担的“回退到安全行为”的角色。代码（Apache 2.0）、完整阐述和测试视频在此： [https://github.com/9138noms/NOML](https://github.com/9138noms/NOML) [https://www.youtube.com/watch?v=ZNn6wo\_PX8Y](https://www.youtube.com/watch?v=ZNn6wo\_PX8Y)
查看原文

相似文章

互动训练 2：面向实时模型训练的可审计控制平面

arXiv cs.LG

互动训练 2 引入了一个通过共享协议引导实时模型训练的可审计控制平面，允许人类和自动化控制器提交请求，这些请求在安全控制点进行验证并应用。该系统在自然语言处理（NLP）和强化学习工作流中进行了演示。