NOML-NOML：分层TD3 + 锚定策略用于飞行控制[P]
摘要
介绍了NOML，一种用于连续飞行控制的自定义强化学习算法，它采用分层actor、锚定策略和镜像学习来防止振荡并提高稳定性。该代码已在GitHub上开源。
我构建了一个用于连续飞行控制的自定义强化学习算法并已开源。在此分享，希望这些结构思路能对从事连续控制（其中某一动作轴占主导地位）的人有所帮助。我一直在六自由度飞行模拟器（俯仰/横滚/偏航/油门/刹车/开火）上训练连续控制，但总是遇到同一个难题：普通的TD3算法在达到峰值后会陷入俯仰振荡且无法恢复。我曾尝试过奖励塑形，但最终得出结论：问题是结构性的，而非奖励设计。NOML便是由此诞生的。它在标准TD3框架基础上做了三项结构改动：
* **锚定策略** — 动作为 `anchor + delta·gate`，其中anchor是一个固定的安全动作（机翼水平，军用推力）。该策略从根本上无法完全忘记如何平飞；即使策略崩溃，最坏的情况也只是退回到anchor上。
* **分层actor** — 三个MLP各自带有独立优化器（俯仰→横滚→其余），这样横滚侧的梯度更新就不会破坏俯仰头。这实际上解决了我的振荡问题。
* **镜像学习** — 左右对称性意味着每个转移都能镜像生成一个免费的第二个样本。当环境步数是瓶颈时，数据量翻倍。
有一件事让我感到意外，且与常规建议相悖：我最好的结果是在探索噪声几乎关闭的情况下取得的。在此任务中，添加高斯动作噪声主要只会抖动操纵杆并造成损害。锚定+门控结构似乎足以扮演噪声通常承担的“回退到安全行为”的角色。代码（Apache 2.0）、完整阐述和测试视频在此：
[https://github.com/9138noms/NOML](https://github.com/9138noms/NOML)
[https://www.youtube.com/watch?v=ZNn6wo\_PX8Y](https://www.youtube.com/watch?v=ZNn6wo\_PX8Y)
相似文章
ATOD：面向多轮自主智能体的退火轮次感知在线策略蒸馏
本文介绍了ATOD，一种结合在线策略蒸馏和强化学习的混合在线蒸馏算法，用于在多轮任务中训练小型语言模型智能体，其特点是采用退火OPD-RL调度和轮次级分歧-不确定性重新加权，以改善密集监督。
基于约束流形控制的安全且可泛化的分层多智能体强化学习
本文提出了一种分层多智能体强化学习框架，该框架通过低层的约束流形强制执行硬安全约束，同时通过高层策略学习实现有效协调，提供了理论上的安全保障，并实现了近乎完美的安全率和良好的泛化能力。
TMPO：用于多样且高效扩散模型对齐的轨迹匹配策略优化
本文介绍了轨迹匹配策略优化（TMPO），这是一种扩散模型对齐方法。它通过匹配轨迹级奖励分布而非最大化标量奖励，解决了奖励黑客攻击和视觉模态崩溃问题。
面向异构大语言模型多智能体系统的迭代式批评与路由控制器
本文介绍了一种用于多智能体大语言模型系统的批评与路由控制器，将协调过程建模为序贯决策问题。该方法利用策略梯度优化控制器以实现迭代优化，在表现优于基线方法的同时，降低了对顶级模型的依赖。
MOPD：面向大语言模型后训练中能力整合的多教师在线策略蒸馏
MOPD提出了一种用于大语言模型后训练的多教师在线策略蒸馏范式，通过将特定领域的RL教师模型蒸馏到学生模型（使用其自身的采样数据），实现了多领域能力的高效整合。该方案优于Mix-RL和Cascade RL等现有方法，并已在工业级模型中部署。