基于超梯度的双层强化学习及其改进的样本复杂度
摘要
本文提出了一种无Hessian矩阵的基于超梯度的双层强化学习算法，实现了最先进的样本复杂度，并在收敛性分析中去除了PL条件假设。
arXiv:2607.28849v1 公告类型：新
摘要：双层强化学习（Bilevel RL）是强化学习文献中的一个重要框架，可用于形式化各类问题，如元学习、层次化任务分解以及基于人类反馈的强化学习（RL-HF）。大多数双层强化学习算法要么因使用带Hessian矩阵的超梯度而无法扩展，要么因使用基于惩罚的近似方法而具有较高的样本复杂度。在这项工作中，我们利用玻尔兹曼策略在熵正则化折扣强化学习目标函数中的最优性，提出了一种基于超梯度的双层强化学习算法。我们所提出的算法无需Hessian矩阵，在温和的正则条件下，获得了$O(\epsilon^{-1})$的迭代复杂度和$\tilde{O}(\epsilon^{-2})$的最先进样本复杂度。此外，在我们的收敛性分析中，我们能够去除先前最先进样本复杂度工作中对上层目标函数的多项式-洛加塞维奇（PL）条件假设。
查看缓存全文
缓存时间: 2026/08/03 07:32
# 基于超梯度的双层强化学习及改进的样本复杂度
来源：https://arxiv.org/abs/2607.28849
查看 PDF (https://arxiv.org/pdf/2607.28849)
> 摘要：双层强化学习（RL）是强化学习文献中的一个重要框架，可用于形式化各类问题，如元学习、分层任务分解和基于人类反馈的强化学习（RL-HF）。大多数双层强化学习算法要么因为使用带 Hessian 矩阵的超梯度而导致可扩展性不佳，要么因为采用基于惩罚的近似方法而面临样本复杂度过高的问题。在这项工作中，我们提出了一种基于超梯度的双层强化学习算法，该算法利用了玻尔兹曼策略在熵正则化折扣强化学习目标函数上的最优性。我们提出的算法无需计算 Hessian 矩阵，并在温和的正则性条件下取得了 $O(\epsilon^{-1})$ 的迭代复杂度和最先进的样本复杂度 $\tilde{O}(\epsilon^{-2})$。此外，在收敛性分析中，我们能够去除先前最先进样本复杂度工作中对外层目标函数的 Polyak-Lojasiewicz (PL) 条件的假设。
## 提交历史
来自：Naman Saxena [查看电子邮件](https://arxiv.org/show-email/ef424510/2607.28849) **[v1]** 2026年7月30日（星期四）21:21:52 UTC (169 KB)相似文章
解决非凸下层双层优化需要二阶平稳性
本文提出PROBE，一种用于非凸下层双层优化的扰动梯度算法，通过二阶平稳性实现有限时间收敛，并在基于LLM的任务和元学习实验中超越现有最先进方法。
完全一阶梯度的联邦随机双层优化
该论文提出了一种联邦随机双层优化算法，仅使用一阶梯度以避免二阶矩阵计算，从而减少运行时间，并引入了一种新颖的学习率机制，通过实验进行了验证。
Boundary-Seeking Policy Gradient for Safe Reinforcement Learning
Introduces Boundary-Seeking Policy Gradient (BSPG), a first-order method for safe reinforcement learning that actively drives the policy toward the constraint boundary, with convergence guarantees and improved reward/boundary tracking on a Safety-Gymnasium task.
面向风险感知AutoRL的高效异方差贝叶斯优化
提出ERAHBO，一种用于强化学习中风险感知超参数优化的高效异方差贝叶斯优化方法，通过自适应重采样相比固定预算方法提高了样本效率。
用于样本高效连续控制的无偏模型化表示
本文介绍了 DR.Q 算法，该算法通过最大化互信息并采用淡出优先经验回放，改善了 Q-learning 的模型化表示，从而减少了连续控制任务中的偏差和过拟合。