面向可扩展强化学习的简单Actor与深度Critic

# Simple Actors and Deep Critics for Scalable Reinforcement Learning
来源: https://arxiv.org/html/2608.26659
会议: 第35届ACM信息与知识管理国际会议 (CIKM '26) 论文集；2026年11月7-11日；意大利罗马
DOI:10.1145/3799682.3840726 (https://doi.org/10.1145/3799682.3840726)
ISBN:979-8-4007-2539-5/2026/11
CCS: 计算方法学；强化学习

Guhyeon Kang https://orcid.org/0009-0000-6005-5909,
Jaehwi Lee https://orcid.org/0009-0001-8014-6493
单位: 信圣大学, 韩国
邮箱: [[email protected]](mailto:[email protected])

Minhae Kwon
*注：通讯作者。
G. Kang 与 M. Kwon 隶属于韩国成均馆大学电气与计算机工程系。
J. Lee 隶属于韩国信圣大学。
单位: 成均馆大学, 韩国
邮箱: [[email protected]](mailto:[email protected])

© cc

###### 摘要
近期离线强化学习 (RL) 的进展，得益于富有表现力的生成式动作网络（如基于扩散和流匹配的策略），它们能够捕捉离线数据集中的多模态行为。然而，这些动作网络在每个决策步骤都需要多次去噪或积分步骤，从而在部署时产生巨大的开销。本文中，我们重新审视了在离线动作-评论家方法中，模型容量应如何分配。由于评论家仅在训练期间使用并在部署时被丢弃，而动作网络在每个决策步骤都需要运行，因此将容量分配给评论家而非动作网络，对推理时的效率更为有利。然而，已知在离线RL中扩大多层感知机评论家的规模会引入几种明显的不稳定因素，这在实践中限制了评论家只能保持较浅的结构。我们识别了在离线RL中加深评论家时出现的三种不同故障模式——优化问题、自举噪声放大和值范围漂移——并针对每种问题提出了相应的解决方案：一个残差MLP骨干网络、n步自举目标以及一个分类交叉熵损失。将这些组件与一个轻量级的确定性动作网络相结合，我们提出了LAC（轻量动作家，深度评论家）。在OGBench基准测试上，LAC在性能上匹配了最强的扩散和流匹配基线方法，同时实现了最高达4倍的推理延迟降低，其延迟与无需蒸馏的一步蒸馏策略相当。其评论家方案也适用于不同的动作网络参数化。
项目页面: https://9hyeon1225.github.io/LAC/

###### 关键词
离线强化学习, 深度评论家, 推理效率, 动作-评论家方法

††cc-license:by-nc-nd

## 1. 引言
生成式动作网络——基于扩散的方法（Wang et al., 2023; Chi et al., 2023）和流匹配策略（Park et al., 2025b; Li et al., 2025; Hansen-Estruch et al., 2023）——正在重塑离线RL，并日益成为机器人学和物理人工智能智能体系统（Black et al., 2025; Kim et al., 2024; Davis et al., 2024; Agrawal et al., 2023; Arya et al., 2025; Lee et al., 2024; Eom and Kwon, 2026; Lee and Kwon, 2025a; Lee and Kwon, 2022），以及推荐系统等信息驱动应用（Chen et al., 2025a; Chen et al., 2025b）的骨干。其优势在于表征能力：它们能捕捉高斯策略无法处理的多模态动作分布，从而在多样化的离线数据集上转化为更强的性能。然而，这种性能提升伴随着一种很少被探究的结构性代价。每个动作都需要通过高容量网络进行多次去噪或积分步骤，因此部署时的每个决策都需承担动作网络的全部计算成本，这在资源受限的部署场景（如机器人和嵌入式控制）中会累积。学界隐含地接受了这是表达能力的代价，但这个问题尚未被足够尖锐地提出：在离线动作-评论家方法中，架构预算是否分配给了正确的网络？

图1. 在humanoidmaze-medium任务上的性能与推理延迟对比。迭代生成式动作网络（IDQL, IFQL, FBRAC, FAWAC）每个动作需要多次去噪或流积分步骤。22脚注:2 LAC（星号）在单次前向传播中动作，以更低延迟达到更高成功率。

我们重新审视这个假设。动作网络和评论家在训练-部署边界上扮演着根本不对称的角色：评论家仅存在于训练期间以塑造策略梯度，并在训练结束后*被丢弃*；而动作网络则必须在已部署系统的每个决策步骤中运行。因此，投资于生成式动作网络的容量会在每次动作时支付重复的代价，而投资于评论家的容量则只支付一次。这种部署时的计算成本，对于轻量级实时推理是关键设计考量的资源受限边缘和物联网系统（Kim et al., 2025）尤为重要。这指向一个与当前生成式动作网络趋势互补的方向：与其扩展必须在推理时运行的网络，不如扩展在推理时闲置的网络。具体而言，将*轻量级确定性*动作网络与*深度且训练充分*的评论家配对，让评论家提供更强的学习信号，同时保持部署策略的轻量化。

一个自然的担忧是，简单的确定性动作网络在具有多模态行为的数据集上，能否与富有表现力的生成式动作网络保持竞争力。我们证明，在足够强大的深度评论家指导下，轻量级确定性动作网络可以在标准的离线RL基准测试中保持竞争力。这种不对称分配并非没有实现难度。已知简单增加MLP评论家的深度会使基于价值的RL不稳定，这也是离线RL传统上保持评论家较浅的部分原因（Sinha et al., 2020; Björck et al., 2021; Peng et al., 2024）。我们将此归因于三种不同的故障模式。第一种是*优化*问题：梯度难以在多层中传播。第二种是*自举噪声*问题：具有高表征能力的深度评论家也有高容量去拟合噪声预测，而1步自举更新在每次迭代时将这些预测折叠回目标值，导致误差累积。第三种是*值范围漂移*问题：即使抑制了自举噪声，使用无界均方误差回归训练的深度评论家，其输出可能逐渐漂移出任何合理范围，此时一个异常样本就足以将训练推向发散——通常在运行已看似收敛之后。标准组件一次只能处理这三个维度之一。因此，我们沿着互补维度组合了三个组件：（i）带有层归一化的残差MLP骨干网络，它恢复了梯度流动（Nauman et al., 2024; D'Oro et al., 2023; Sinha et al., 2020）；（ii）n步自举目标（Sutton and Barto, 2018; Kapturowski et al., 2019; Hessel et al., 2018），它纳入了n个观测奖励，并将自举系数从γ变为γ^n，从而减少了对评论家自身预测的依赖；（iii）在有界支撑上的分类交叉熵评论家损失（Bellemare et al., 2017; Farebrother et al., 2024; Imani and White, 2018），它将目标值限制在固定范围内，并将该范围内的回归问题转化为分类问题。综合这三个组件，评论家可以在两个数量级的深度范围内稳定扩展，提供足够强的学习信号，使得轻量级确定性动作网络即可满足需求。关键的是，我们发现n步自举不是通用的性能提升器，而是深度扩展的使能条件；即使有n步自举，分类损失也不可与MSE回归互换：移除任一组件都会导致一种特定于深度的故障模式（第5.3节）。图2展示了三者结合的结果：与富有表现力的流匹配和扩散基线相比，我们的设计恢复了相当的性能，同时将多步生成式动作网络的单次动作推理成本降低了最高达4倍。

我们将这些思想实例化为LAC，一个简单的离线动作-评论家方案，它集成了：（i）带有层归一化的深度残差MLP评论家，（ii）带有有界支撑的分类交叉熵评论家损失与n步自举目标，以及（iii）通过确定性策略梯度训练的轻量级确定性动作网络，带有行为克隆正则化，使得在部署时生成一个动作仅需一个小型网络的单次前向传播。我们的主要贡献如下：

1.  我们阐述了离线动作-评论家方法中当前文献中隐含的一种不对称性：评论家在部署时未被使用，这使得评论家端的容量在推理时基本免费，并为扩展生成式动作网络提供了一个互补的替代方案。
2.  我们识别了离线RL中深度评论家的三种不同故障模式——优化问题、自举噪声问题和值范围漂移问题——并表明解决所有三者需要结合使用残差架构、n步自举目标和分类评论家损失；我们直接证明了自举噪声机制（通过n与评论家深度的交互）和值范围机制（通过当MSE回归替代分类损失时出现的训练中期崩溃模式）。
3.  我们将此深度评论家与通过确定性策略梯度训练的轻量级确定性动作网络配对，消除了扩散和流匹配动作网络在推理时所需的多步生成式采样。
4.  在OGBench离线RL基准测试上，LAC在性能上匹配了基于扩散和流匹配的基线方法，同时实现了最高达4倍的每动作推理延迟降低，消融实验表明评论家容量可以实质性地补偿动作网络表达能力的有限性。

据我们所知，这是第一篇将非对称容量分配作为推理高效离线RL的刻意设计轴进行研究的工作。

## 2. 相关工作

##### 离线RL中的生成式动作网络
近年来的离线RL越来越多地依赖于策略的富有表现力的生成式参数化，以捕捉行为数据中的多模态动作分布。基于扩散的动作网络包括Diffusion-QL (Wang et al., 2023)、IDQL (Hansen-Estruch et al., 2023) 和 SRPO (Chen et al., 2024b)。为了降低扩散策略的多步采样成本，已经探索了两类替代的生成式参数化。第一类用一致性模型替代扩散模型，直接在一步内将噪声映射到动作，如CPQL (Chen et al., 2024a) 和 CAC (Ding and Jin, 2024)。第二类使用流匹配学习确定性速度场，如FQL (Park et al., 2025b)，它在部署时进一步将流蒸馏为一步策略。捷径模型 (Frans et al., 2025; Espinosa-Dice et al., 2025) 和无蒸馏的扩散目标 (Chen et al., 2024c) 则无需单独的蒸馏阶段即可获得一步策略。虽然这些方法降低了富有表现力的生成式策略的采样成本，但它们仍将建模多模态动作分布的负担放在了每个决策步骤都需执行的动作网络上——当策略在分层或智能体决策管道中被频繁调用时，这种成本会累积。我们追求一个互补的方向：不是让富有表现力的动作网络更便宜，而是问当评论家足够强大时，富有表现力的动作网络是否还必要。

##### 评论家稳定化与分布式价值学习
LAC评论家中的组件在单独出现时均有先例。残差MLP骨干网络和层归一化残差堆叠已被研究用于扩展在线深度RL (Sinha et al., 2020; Björck et al., 2021; Nauman et al., 2024)。n步自举是一种标准的方差-偏差权衡工具 (Sutton and Barto, 2018)，也是在线RL核心组件Rainbow (Hessel et al., 2018) 和 R2D2 (Kapturowski et al., 2019) 的关键成分。分布式价值学习 (Bellemare et al., 2023)，特别是C51的分类公式 (Bellemare et al., 2017)，用基于有界支撑的交叉熵损失替代了标准MSE回归目标，并已被证明在在线和离线环境中都能稳定价值学习。我们的贡献在于识别出在离线机制中，这些组件中没有任何一个是单独充分的，每个组件解决深度评论家的一个特定故障模式，而它们的组合才使得在离线RL中稳定地扩展评论家深度成为可能。

##### 强化学习中的容量扩展
关于在线RL中容量扩展的工作日益增多，包括BBF (D'Oro et al., 2023) 和近期将网络推向数百层的研究 (Nauman et al., 2024)。相比之下，离线RL历来保持动作和评论家网络较小，大多数已发表的方法在两端都使用两层或三层的MLP。在离线工作中，容量投资主要是在动作端通过扩散或流匹配参数化进行。