立场：强化学习研究者需区分求解模拟器与将模拟器作为代理使用

# RL研究者需要区分求解模拟器与将模拟器用作代理
来源: https://arxiv.org/html/2606.28433

###### 摘要
强化学习 (RL) 研究的一个目标是理解通用顺序决策制定，使用基准模拟器作为在部署环境中学习的代理。然而，在进行实验时，追求在模拟器中取得高性能的目标可能会异化为仅专注于求解模拟器。为了获得高分，研究者可能采用仅适用于求解模拟器的解决方案，而不是在代理部署于模拟器之外时进行学习。求解模拟器本身也值得研究，但它是一个根本不同的 RL 研究问题。

在本文中，我们论证 RL 研究者需要区分模拟器的两种使用场景：求解模拟器和将模拟器作为部署学习的代理。我们首先讨论这两种场景在代理如何使用模拟器、哪些算法适用以及哪些评估指标合适方面的重要区别。然后，我们通过示例和简单实验，强调不明确区分这两种场景可能导致的若干问题和误导性结论。本文旨在呼吁社区开始明确区分他们在工作中如何使用模拟器，并希望能引发关于每种场景下最佳实证实践的进一步讨论。

强化学习，实证方法论，基准测试，仿真，立场论文

## 1 引言

大多数 RL 论文通过模拟器对算法进行实证比较。有一系列典型的研究模拟器，包括经典控制、MuJoCo (Todorov et al., 2012)、Arcade 学习环境 (Bellemare et al., 2013)、行为套件 (Osband et al., 2020)、Minecraft (Guss et al., 2019) 和 DeepMind-Control (Tunyasuvunakool et al., 2020)。其他论文在更真实的模拟器中使用 RL 算法，例如用于托卡马克反应堆 (Degrave et al., 2022b) 或来自过程控制社区的先进模拟工具（如 Aspen HYSYS 或 DWSim），用于碳捕获 (Al-Sakkaria et al., 2024) 和水处理 (Gao et al., 2023) 等问题。模拟器的普遍使用可能掩盖论文中两个截然不同的目标：求解模拟器或将模拟器作为部署学习的代理。

对于第一类，主要目标是求解特定模拟器。例如，工程师可能有一个计划建造的废水处理厂仿真，并希望确定最优控制器以评估设计。另一个例子是，游戏研究者可能想找到最好的围棋选手，就像 AlphaGo (Silver et al., 2016) 所做的那样。通过求解模拟器可以回答关键的研究问题。例如，Strassen 的两层算法对于 4×4 矩阵乘法是否最优的问题由 AlphaTensor (Fawzi et al., 2022) 回答，而蛋白质对接分子是通过求解蛋白质对接模拟 (Kim et al., 2024) 发现的。

对于第二类，模拟器仅用作部署学习的代理。我们将部署环境定义为环境动态不受实践者控制的情况，例如控制物理系统或与人交互时。此外，对于部署中的学习，代理与此单一部署环境交互，并且交互期间的奖励很重要。对于许多从事此场景的研究者来说，最好能在部署环境中运行所有实验。例如，要真正测试新的 RL 算法是否能降低数据中心的能源成本，理想的做法是直接将其部署在数据中心，并观察其在物理系统上学习和行动时能源消耗的减少。但自然，进行这样的实验要困难得多。对于算法开发，研究模拟器允许快速且低成本地研究新想法，并允许进行受控实验。一些勇敢的研究者已经迈出了下一步，在真实的部署场景中运行 RL 实验，例如机器人技术 (Büchler et al., 2022; Liu et al., 2025; White et al., 2012; Cheng et al., 2019; Ma et al., 2023)、推荐系统 (Bietti et al., 2021) 和数据中心冷却 (Luo et al., 2022)。但绝大多数 RL 研究者坚持在仿真中进行实验。

当在仿真而非部署中进行实验时，很容易在不经意间开始作弊并利用算法在模拟器上测试的事实。因此，研究者必须高度警惕，限制研究模拟器的使用，以确保它仍然是部署场景的合理代理。然而，在进行实验时，短期目标可能变形为求解研究模拟器以获得良好的基准分数，尽管长期目标是忠实地在仿真中理解算法，最终用于实际应用。由于基准测试的压力，这两个目标之间的界限变得模糊也就不足为奇了。

作为一个轶事例子，考虑在 Atari 中引入并行学习的方法 A2C (Mnih et al., 2016)。这种方法隐式地设计用于求解模拟器的问题，因为在部署环境中我们无法拥有多个环境并行副本。¹然而，A2C 论文没有明确说明这一目标，而是简单地陈述了更好的通用 RL 代理的目标。许多后续方法建立在此创新之上，例如向量化 PPO (Schulman et al., 2017)、IMPALA (Espeholt et al., 2018)、PQN (Gallici et al., 2025)，因为这是更快求解模拟器的好方法。这些论文同样没有说明它们的方法仅限于求解模拟器。随后在 Atari 上提高性能的军备竞赛导致了 Go-Explore (Ecoffet et al., 2021)，它通过将代理重置到不同状态来进一步利用对模拟器的访问以加速学习。对此论文有一些负面反应，因为这种重置是“作弊”，再次表明社区中围绕这些目标的混淆。如果 Go-Explore 论文明确指明了求解模拟器的目标（在这种情况下是在 Atari 上达到最先进水平），那么重置就不是作弊，也不应该出现这样的负面反应。当然，愤怒是次要的后果；在本文中，我们概述了 RL 社区中这两种目标之间缺乏清晰性所导致的更严重问题。

在本文中，我们的立场是：RL 研究者需要区分求解模拟器和将模拟器作为部署学习的代理。我们首先从问题形式化的角度概述这种区别，强调其对代理-环境交互、算法开发和评估指标的影响。然后，我们深入探讨由于不区分模拟器使用场景而产生的四个具体问题，并提出解决这些问题的行动呼吁。最后，我们讨论替代观点。我们的工作与其他指出强化学习中实证实践不一致的工作 (Patterson et al., 2024; Castro, 2025) 相呼应。

需要注意的是，求解模拟器和将模拟器作为部署学习的代理并不是 RL 中仅有的两个目标。有许多问题设定可能不完全属于这两类。然而，在这篇立场论文中，我们关注这两种使用场景——求解模拟器和在部署中学习——以保持可控的范围。此外，可能存在同时适用于这两个目标的研究问题。例如，针对 RL 更好优化器的研究可能产生有助于求解模拟器和部署学习的进展。一般来说，可以有很多工作产生同时适用于两种设定的结论，但这并不意味着情况总是如此，我们将在本文中展示和讨论这一点。

关于 sim2real 的说明：值得明确指出的是，仿真到现实（即 sim2real） (Zhao et al., 2020; Salvato et al., 2021) 的使用场景是不同的。其目标是在真实世界任务的高保真模拟器中学习策略，然后将该策略部署到真实世界任务中。在这种设定中，模拟器的角色没有混淆，研究问题通常围绕 sim2real 差距和改进模拟器以产生更有效策略。sim2real 的一个子步骤是求解高保真模拟器，因此用于求解模拟器场景的算法可能对 sim2real 有用。将研究模拟器用作代理可以说更不同，其目标是在研究模拟器中获得实证见解，而不是解决特定的工程问题或应用。通过使用研究模拟器开发更好的算法当然对 sim2real 有益，特别是在 sim2real 中策略在真实世界部署后微调或更新的步骤中。然而，我们的两种使用场景都不明确是关于 sim2real 的，为了保持可控的范围，我们避免包括相关但不同的 sim2real 使用场景。

## 2 模拟器使用决定问题形式化

**表 1：** 两种模拟器使用场景之间的区分标准。最右列粗体表示更适合求解模拟器算法的选择，因为它利用了多环境并行性和/或模拟器独占操作。

| | 将模拟器用作代理 | 求解模拟器 |
|---|---|---|
| **交互** | 1 个环境 | **n 个环境** (可以使用 n=1) |
| **选项** | | **模拟器独占操作**: (1) 重置到特定状态, (2) 模拟多个结果 |
| **求解技术** | 无模型算法 (例如 Sarsa(λ) (Sutton & Barto, 2018), DQN (Mnih et al., 2015), PPO (Schulman et al., 2017)) | 无模型算法, **多流无模型算法** (例如 PPO, A2C, A3C (Mnih et al., 2016), PQN (Gallici et al., 2025)), **使用学习模型规划** (例如 MuZero (Schrittwieser et al., 2019)), **使用模拟器规划** (例如动态规划, AlphaZero (Silver et al., 2018)), 用于设置超参数的元学习算法, **并行调优** (例如网格搜索), **用于探索的重置** (例如 Go-Explore (Ecoffet et al., 2021)), **用于方差缩减的重置** (例如 TRPO 的藤蔓方法 (Schulman et al., 2015)) |
| **评估指标** | 学习过程中的平均回合回报, 样本效率 | 最佳回报：学习过程中找到的最佳策略的期望回报, **总计算量** |

模拟器的使用方式对代理-环境交互约束、适用的求解技术和评估指标有影响。在本节中，我们首先正式定义模拟器，然后概述这些影响对于求解模拟器和将模拟器作为部署学习代理的情况。这些影响列于表 1 (https://arxiv.org/html/2606.28433#S2.T1)，展示了我们讨论的两种模拟器使用之间的明确二分法。

在深入问题设定之前，我们对我们工作中使用的术语“模拟器”给出定义。模拟器是环境动态的软件实现，其中交互是无后果的：记录转移和奖励但不物理执行，因此不产生现实世界的成本、风险或不可逆效应。此外，由于行动是无后果的，一些模拟器独占操作是可能的，例如模拟器的并行副本、重置到任意状态以及从相同状态-动作对查询多个结果。我们在本节剩余部分通过讨论模拟器如何在两种关注的问题设定中使用来扩展此定义。

这两种设定之间有两个关键的交互约束区别：使用并行环境的能力和模拟器独占操作的可用性。在求解模拟器时，可以接收来自模拟器并行副本的异步观测。对于部署环境中的 RL，观测按顺序从环境产生。在模拟器中模拟这种设置——将其用作代理——应使用单个模拟器副本。模拟器独占操作围绕从选定状态直接查询模拟器的能力。在求解模拟器时，代理可以重置到特定状态，可能有助于探索和了解更多区域。它还可以针对特定状态和动作查询多个结果。我们可以将重置和重采样视为模拟器独占操作，因为它们超出典型的代理-环境交互循环，并且仅因为实践者可以控制模拟器才可用。在部署中，代理不能直接重采样或重置，因为实践者不能完全控制环境。²

¹ 在某些情况下，部署可能涉及类似于并行的因素，例如推荐算法可以异步地向许多用户提供推荐。然而，在这种情况下，一个模拟环境将是用户的集合，即它将包含那种并行性，而并行化模拟器将对应于增加推荐平台的数量。在这项工作中，我们将部署设置定义为代理在单一环境中交互。

² 这种操作可以通过给代理一个明确的“重置”动作来模仿，该动作请求人类移动代理，就像在机器人技术中可以做的那样。然而，这样的动作现在是环境的一部分，而不是环境外部的动作，并且与这些模拟器独占操作不同。