单循环熵正则化自然演员-评论家算法的非正则化收敛

arXiv cs.LG 论文
entropy-regularization reinforcement-learning actor-critic convergence-analysis finite-sample policy-gradient

摘要

本文分析了一种单循环、熵正则化的自然演员-评论家算法，并在随机和确定性环境下，针对线性函数逼近，证明了非正则化目标的加速收敛率。

arXiv:2608.19587v1 公告类型：新 摘要：虽然熵正则化被广泛用于稳定和加速自然策略梯度方法，但其在非正则化目标上产生更快收敛率的能力仍未被充分探索。现有分析往往依赖于双循环架构并引入线性熵惩罚。为了弥合理论与实践之间的差距，我们在兼容线性函数逼近下分析了一种单循环、熵正则化的自然演员-评论家算法。通过训练非中心化评论家，即使训练策略趋近于确定性且Fisher信息矩阵退化，我们的评论家跟踪也能保持稳定。我们重点关注优化景观的两个主要环境：随机环境，我们将耦合的演员-评论家更新融合到联合Lyapunov递推中；确定性环境，我们转向策略镜像下降框架以规避欧几里得几何的崩溃。通过利用非正则化马尔可夫决策过程中的正最小动作间隙，我们引入了一种指数平移机制，将正则化间隙映射到非正则化间隙，直至指数衰减尾部。通过调整固定温度，我们的算法实现了加速的非正则化收敛率，直至近似误差项：在随机环境下为 $\tilde{\mathcal{O}}(T_{total}^{-1})$，在确定性环境下，平均迭代为 $\tilde{\mathcal{O}}(T_{total}^{-2/3})$，最后一次迭代为 $\tilde{\mathcal{O}}(T_{total}^{-1/3})$。这里，$T_{total}$ 表示随机评论家更新（或蒙特卡洛 rollout）的总数。此外，在表格设置中，我们的正动作间隙分析得出了 $\tilde{\mathcal{O}}(T_{total}^{-2/3})$ 的平均迭代率，超过了在没有正动作间隙情况下适用的 $\mathcal{O}(T_{total}^{-1/2})$ 最坏情况统计障碍。
查看原文
查看缓存全文

缓存时间: 2026/08/21 10:25 

# 摘要。来源：https://arxiv.org/html/2608.19587  
**单循环、熵正则化自然Actor-Critic算法的无正则化收敛性**  
谭志强111罗格斯大学统计系。地址：新泽西州皮斯卡塔韦弗林赫伊森路110号，邮编08854。电子邮箱：[email protected]。感谢伊凡·胡和库利克·哈马鲁的有益讨论，并感谢Gemini和ChatGPT的协助与合作。  
2026年8月20日

##### 摘要。  
虽然熵正则化被广泛用于稳定和加速自然策略梯度方法，但其在提升无正则化目标收敛速率方面的能力尚未得到充分探索。现有分析通常依赖双循环架构，并采用线性熵惩罚项。为弥合理论与实践之间的差距，本文在兼容线性函数近似下，分析了一种单循环、熵正则化的自然Actor-Critic算法。通过训练一个无中心化的评论家，即使在训练策略趋近于确定性且费舍尔信息矩阵退化时，我们的评论家跟踪仍能保持稳定。我们主要关注优化景观的两种情形：在随机情形中，我们将耦合的Actor-评论家更新融合到一个联合的李雅普诺夫递归式中；在确定性情形中，我们转向策略镜像下降框架以规避欧几里得几何结构的坍缩。通过利用无正则化马尔可夫决策过程中的正最小动作差距，我们引入了一种指数平移机制，可将正则化差距映射至无正则化差距，并带有指数衰减的尾部。通过调节固定温度参数，我们的算法实现了加速的无正则化收敛速率（忽略逼近误差项）：在随机情形下为 $\tilde{\mathcal{O}}(T_{\text{total}}^{-1})$；在确定性情形下，平均迭代点为 $\tilde{\mathcal{O}}(T_{\text{total}}^{-2/3})$，最后迭代点为 $\tilde{\mathcal{O}}(T_{\text{total}}^{-1/3})$。这里 $T_{\text{total}}$ 表示随机评论家更新（或蒙特卡洛回合）的总次数。此外，在表格化设定下，我们的正动作差距分析给出了 $\tilde{\mathcal{O}}(T_{\text{total}}^{-2/3})$ 的平均迭代点收敛率，超越了无正动作差距时适用的最坏情况统计下界 $\mathcal{O}(T_{\text{total}}^{-1/2})$。

##### 关键词和短语。  
熵正则化、有限样本分析、线性函数近似、自然Actor-Critic、自然策略梯度、策略镜像下降、强化学习、单循环算法。

###### 目录  
1. 1 引言 (https://arxiv.org/html/2608.19587#S1)  
2. 2 问题形式化 (https://arxiv.org/html/2608.19587#S2)  
    1. 2.1 设定与优化情形 (https://arxiv.org/html/2608.19587#S2.SS1)  
    2. 2.2 无中心化自然Actor-Critic算法 (https://arxiv.org/html/2608.19587#S2.SS2)  
    3. 2.3 结构假设 (https://arxiv.org/html/2608.19587#S2.SS3)  
3. 3 次优性恒等式与平移界 (https://arxiv.org/html/2608.19587#S3)  
    1. 3.1 次优性恒等式与分解 (https://arxiv.org/html/2608.19587#S3.SS1)  
    2. 3.2 指数平移界 (https://arxiv.org/html/2608.19587#S3.SS2)  
4. I 随机情形 (https://arxiv.org/html/2608.19587#Pt1)  
    1. 4 参数空间的Polyak-Łojasiewicz条件 (https://arxiv.org/html/2608.19587#S4)  
    2. 5 Actor进展与评论家跟踪 (https://arxiv.org/html/2608.19587#S5)  
        1. 5.1 无中心化梯度与目标平滑性 (https://arxiv.org/html/2608.19587#S5.SS1)  
        2. 5.2 Actor进展与算法耦合 (https://arxiv.org/html/2608.19587#S5.SS2)  
        3. 5.3 耦合评论家跟踪 (https://arxiv.org/html/2608.19587#S5.SS3)  
    3. 6 固定温度收敛（随机情形）(https://arxiv.org/html/2608.19587#S6)  
        1. 6.1 联合Actor-评论家系统 (https://arxiv.org/html/2608.19587#S6.SS1)  
        2. 6.2 平均迭代点正则化收敛 (https://arxiv.org/html/2608.19587#S6.SS2)  
        3. 6.3 最后迭代点正则化收敛 (https://arxiv.org/html/2608.19587#S6.SS3)  
    4. 7 无正则化全局收敛（随机情形）(https://arxiv.org/html/2608.19587#S7)  
        1. 7.1 全局收敛界 (https://arxiv.org/html/2608.19587#S7.SS1)  
        2. 7.2 平均迭代点无正则化收敛 (https://arxiv.org/html/2608.19587#S7.SS2)  
        3. 7.3 最后迭代点无正则化收敛 (https://arxiv.org/html/2608.19587#S7.SS3)  
5. II 确定性情形 (https://arxiv.org/html/2608.19587#Pt2)  
    1. 8 策略镜像下降 (https://arxiv.org/html/2608.19587#S8)  
    2. 9 固定温度收敛（确定性情形）(https://arxiv.org/html/2608.19587#S9)  
        1. 9.1 Actor进展与价值伸缩 (https://arxiv.org/html/2608.19587#S9.SS1)  
        2. 9.2 非耦合评论家跟踪 (https://arxiv.org/html/2608.19587#S9.SS2)  
        3. 9.3 平均迭代点正则化收敛 (https://arxiv.org/html/2608.19587#S9.SS3)  
        4. 9.4 最后迭代点正则化收敛 (https://arxiv.org/html/2608.19587#S9.SS4)  
    3. 10 无正则化全局收敛（确定性情形）(https://arxiv.org/html/2608.19587#S10)  
        1. 10.1 平均迭代点无正则化收敛 (https://arxiv.org/html/2608.19587#S10.SS1)  
        2. 10.2 最后迭代点无正则化收敛 (https://arxiv.org/html/2608.19587#S10.SS2)  
        3. 10.3 应用于表格化设定 (https://arxiv.org/html/2608.19587#S10.SS3)  
4. 参考文献 (https://arxiv.org/html/2608.19587#bib)  
5. A 算法比较 (https://arxiv.org/html/2608.19587#A1)  
    1. A.1 标准NPG与优势驱动、中心化评论家 (https://arxiv.org/html/2608.19587#A1.SS1)  
    2. A.2 NPG与Q值驱动、中心化评论家 (https://arxiv.org/html/2608.19587#A1.SS2)  
    3. A.3 精确参数化下的等价性 (https://arxiv.org/html/2608.19587#A1.SS3)  
    4. A.4 算法设计与比较 (https://arxiv.org/html/2608.19587#A1.SS4)  
6. B 推广至探索性$\nu$采样 (https://arxiv.org/html/2608.19587#A2)  
    1. B.1 广义采样测度与评论家假设 (https://arxiv.org/html/2608.19587#A2.SS1)  
    2. B.2 广义离策略失配 (https://arxiv.org/html/2608.19587#A2.SS2)  
    3. B.3 对第一部分（随机情形）的影响 (https://arxiv.org/html/2608.19587#A2.SS3)  
    4. B.4 对第二部分（确定性情形）的影响 (https://arxiv.org/html/2608.19587#A2.SS4)  
7. C 通过$L_\infty$逼近实现无集中性分析 (https://arxiv.org/html/2608.19587#A3)  
    1. C.1 在第二部分中完全消除集中性 (https://arxiv.org/html/2608.19587#A3.SS1)  
    2. C.2 推广至探索性$\nu$采样（确定性情形）(https://arxiv.org/html/2608.19587#A3.SS2)  
    3. C.3 对第一部分及几何瓶颈的影响 (https://arxiv.org/html/2608.19587#A3.SS3)  
8. D 相关工作 (https://arxiv.org/html/2608.19587#A4)  
    1. D.1 Agarwal等人（2021）(https://arxiv.org/html/2608.19587#A4.SS1)  
    2. D.2 Yuan等人（2023）(https://arxiv.org/html/2608.19587#A4.SS2)  
    3. D.3 Liu等人（2020）(https://arxiv.org/html/2608.19587#A4.SS3)  
    4. D.4 Cayci等人（2024）(https://arxiv.org/html/2608.19587#A4.SS4)  
9. E 技术细节 (https://arxiv.org/html/2608.19587#A5)  
    1. E.1 第…节的证明 (https://arxiv.org/html/2608.19587#A5.SS1)  
    2. E.2 第…节的证明 (https://arxiv.org/html/2608.19587#A5.SS2)  
    3. E.3 第…节的证明 (https://arxiv.org/html/2608.19587#A5.SS3)  
    4. E.4 第…节的证明 (https://arxiv.org/html/2608.19587#A5.SS4)  
    5. E.5 第…节的证明 (https://arxiv.org/html/2608.19587#A5.SS5)  
    6. E.6 第…节的证明 (https://arxiv.org/html/2608.19587#A5.SS6)  
    7. E.7 第…节的证明 (https://arxiv.org/html/2608.19587#A5.SS7)  
    8. E.8 第…节的证明 (https://arxiv.org/html/2608.19587#A5.SS8)  
    9. E.9 第…节的证明 (https://arxiv.org/html/2608.19587#A5.SS9)  
10. F 通过线性熵惩罚实现无正则化收敛（随机情形）(https://arxiv.org/html/2608.19587#A6)  
    1. F.1 平均迭代点无正则化收敛 (https://arxiv.org/html/2608.19587#A6.SS1)  
    2. F.2 最后迭代点无正则化收敛 (https://arxiv.org/html/2608.19587#A6.SS2)  
    3. F.3 全局无正则化收敛 (https://arxiv.org/html/2608.19587#A6.SS3)  
11. G 通过热启动评论家统一单循环与双循环 (https://arxiv.org/html/2608.19587#A7)  
    1. G.1 热启动评论家跟踪误差 (https://arxiv.org/html/2608.19587#A7.SS1)  
    2. G.2 热启动平均迭代点正则化收敛 (https://arxiv.org/html/2608.19587#A7.SS2)  
    3. G.3 热启动无正则化收敛（最小动作差距）(https://arxiv.org/html/2608.19587#A7.SS3)  
    4. G.4 热启动无正则化收敛（线性熵）(https://arxiv.org/html/2608.19587#A7.SS4)  

### 1 引言  
**动机。** 策略梯度方法，特别是自然策略梯度（NPG）（Kakade, 2001 (https://arxiv.org/html/2608.19587#bib.bib12)；Peters and Schaal, 2008 (https://arxiv.org/html/2608.19587#bib.bib24)），构成了现代强化学习的支柱。为鼓励探索并改善收敛性，这些算法常与熵正则化结合使用（Williams and Peng, 1991 (https://arxiv.org/html/2608.19587#bib.bib31)；Peters et al., 2010 (https://arxiv.org/html/2608.19587#bib.bib23)；Mnih et al., 2016 (https://arxiv.org/html/2608.19587#bib.bib21)；Haarnoja et al., 2018 (https://arxiv.org/html/2608.19587#bib.bib10)）。虽然熵正则化的实证益处——如更平滑的优化景观和更快的收敛——已被广泛认识，但现有理论分析在解决以下问题方面仍存在实质性差距：
> 与无正则化NPG算法相比，通过适当的温度调节和步长调节，熵正则化NPG算法在无正则化性能差距方面能够实现何种收敛速率（是否存在更快的情况）？

历史上，早期的收敛性文献主要集中在表格化马尔可夫决策过程（MDP）。早期工作利用精确梯度建立了无正则化和有正则化NPG的全局收敛性（Mei et al., 2020 (https://arxiv.org/html/2608.19587#bib.bib20)；Bhandari and Russo, 2021 (https://arxiv.org/html/2608.19587#bib.bib3)；Cen et al., 2022 (https://arxiv.org/html/2608.19587#bib.bib6)），后续的理论发展利用了策略镜像下降（PMD）框架，其动机来自信赖域策略优化（TRPO）（Schulman et al., 2015 (https://arxiv.org/html/2608.19587#bib.bib25)）。在对数线性策略参数化下，熵正则化NPG等价于以KL散度作为邻近项的PMD更新。然而，这些PMD分析通常孤立地研究无正则化和有正则化设置（Shani et al., 2020 (https://arxiv.org/html/2608.19587#bib.bib26)；Lan, 2023 (https://arxiv.org/html/2608.19587#bib.bib18)），未评估有正则化算法的无正则化性能。即使当有正则化的表格化算法被明确映射到无正则化目标时，该平移也依赖于标准的线性$\mathcal{O}(\tau)$熵惩罚。对于Cen等人（2022）(https://arxiv.org/html/2608.19587#bib.bib6)分析的软策略迭代（SPI），无正则化收敛速率被证明为$\tilde{\mathcal{O}}(T_{\text{total}}^{-1/2})$（见表2 (https://arxiv.org/html/2608.19587#S1.T2)）。在表格化设定之外，使用函数近似进行熵正则化的保证仍然有限。对于线性函数近似，Cayci等人（2024）(https://arxiv.org/html/2608.19587#bib.bib5)分析了熵正则化NPG算法，针对有正则化目标获得了$\tilde{\mathcal{O}}(T_{\text{total}}^{-1/3})$的收敛速率（忽略逼近误差项），但未明确讨论无正则化性能差距。当该分析通过线性熵惩罚映射到无正则化目标时（如附录D.4 (https://arxiv.org/html/2608.19587#A4.SS4)所示），所得收敛速率为$\tilde{\mathcal{O}}(T_{\text{total}}^{-1/6})$。这显著慢于直接针对无正则化NPG算法建立的无正则化速率（$\tilde{\mathcal{O}}(T_{\text{total}}^{-1/4})$至$\tilde{\mathcal{O}}(T_{\text{total}}^{-1/2})$）（Agarwal et al., 2021 (https://arxiv.org/html/2608.19587#bib.bib1)；Liu et al., 2020 (https://arxiv.org/html/2608.19587#bib.bib19)；Yuan et al., 2023 (https://arxiv.org/html/2608.19587#bib.bib34)）（见表1 (https://arxiv.org/html/2608.19587#S1.T1)）。识别熵正则化算法是否能通过适当调节匹配甚至突破现有无正则化速率，仍是一个开放的理论挑战。加剧这一挑战的是，现有NPG算法的分析主要依赖于双循环架构。在外循环中，这些算法冻结Actor参数，并运行随机梯度下降（SGD）内循环来求解最小二乘投影以更新评论家参数。虽然这种双循环方法简化了理论分析，但它可能人为地增加总体样本复杂度或导致高度偏斜的超参数配置以抑制统计噪声。有趣的是，最强大现有理论速率要求不平衡的配置：为达到其$\tilde{\mathcal{O}}(T_{\text{total}}^{-1/2})$无正则化收敛极限，双循环Q-NPG（函数近似下）（Yuan et al., 2023 (https://arxiv.org/html/2608.19587#bib.bib34)）（见附录D.2 (https://arxiv.org/html/2608.19587#A4.SS2)）和表格化SPI（Cen et al., 2022 (https://arxiv.org/html/2608.19587#bib.bib6)）都规定了大量内循环迭代或批量评估以及极少数的外部策略更新。这些选择与实践中常用的单循环实现不一致。

**算法：单循环、熵正则化无中心化NAC。** 为弥合理论与实践之间的差距，我们在Actor-评论家框架下研究了一种熵正则化NPG算法。具体来说，我们分析了一种单循环、熵正则化的自然Actor-Critic（NAC）算法，采用对数线性策略参数化和线性兼容评论家。与双循环方法不同，我们的算法在每次迭代中持续更新Actor和评论家，每个Actor更新恰好执行一次评论家SGD步骤（$N=1$）。值得注意的是，我们的算法使用未中心化的特征而非动作中心化特征（得分函数）来评估评论家。标准NPG算法通常将优势函数或Q值投影到中心化特征上。然而，这种投影依赖于中心化特征协方差矩阵（费舍尔信息矩阵）的正定性。这种依赖在确定性情形下变得有问题：当温度降至零以恢复无正则化MDP时，最优策略坍缩为确定性分布。因此，当训练策略跟踪此最优解并趋近于确定性时，其动作随机性消失，费舍尔信息矩阵退化。相反，通过将正则化Q值投影到未中心化特征上，我们的评论家跟踪即使在费舍尔信息矩阵退化时也能保持稳定。

表1：比较使用线性函数近似（对数线性策略和线性兼容评论家）的基于样本的NPG和NAC算法。$T_{\text{total}}=N \times T$ 表示在 $T$ 个外部循环中的随机更新（或蒙特卡洛回合）总次数。

相似文章

熵正则化演员-评论家方法的精细分析

arXiv cs.LG

本文对熵正则化演员-评论家方法进行了精细的理论分析，表明精确的评论家能起到强大的方差缩减作用，使样本复杂度可与确定性策略梯度相媲美，并且当学到的评论家足够准确时，这些优势得以保留。

马尔可夫轨迹上重要性校正动量 Actor-Critic 的统一分析

arXiv cs.LG

该论文提出了一种统一的 actor-critic 方法，将岭正则化的路径最小二乘 LSTD critic 与重要性校正动量 (ICM) actor 相结合，并首次给出了 ICM actor-critic 在单条 Markov 轨迹上归一化与非归一化步长下的有限时间收敛界，同时将结果特化到 Muon、带动量的 SGD 及 AdaNorm 等优化器进行比较。