Mesh-RL：耦合子网格强化学习

# Mesh-RL：耦合子网格强化学习
来源：https://arxiv.org/html/2606.26333
Behnam Gheshlaghi 独立研究者 & Bahador Rashidi 独立研究者 & Shahin Atakishiyev 阿尔伯塔大学

###### 摘要

在大型或稀疏奖励环境中，强化学习面临时差奖励传播缓慢的挑战，因为价值信息仅能在状态空间中局部扩散。我们提出*Mesh-RL*，一种受有限元方法和域分解理论启发的空间域分解框架，它将环境划分为重叠的子网格，并强制执行*边界一致的时差更新*。这种方法能够实现局部化学习，同时保证全局一致的价值传播。与分层或基于模型的方法不同，Mesh-RL 在不修改奖励函数、Bellman 算子或引入显式规划机制的情况下，加速了长距离信用分配。我们在具有不同几何形状和网格分辨率的高危险网格世界环境中评估了 Mesh-RL。在 Q学习、SARSA 和 Dyna-Q 上，Mesh-RL 均持续提升了收敛速度、累积奖励和学习稳定性。更高的网格分辨率有助于维持探索、防止过早收敛，并显著加速向远距离状态的价值传播。虽然 Dyna-Q 已经从内部规划中受益，但在结构化分解下它仍能获得额外收益。总体而言，Mesh-RL 引入了一种原则性的空间域分解机制来加速时差学习。我们的框架将科学计算中受有限元方法启发的边界一致性技术与强化学习相结合，以提高稀疏奖励环境中的样本效率。我们将发布本研究的源代码。

## 1 引言

时差（TD）强化学习（RL）在大型或稀疏奖励状态空间中仍然面临着奖励传播缓慢和可扩展性差的挑战（Tsitsiklis and Van Roy, 1996 (https://arxiv.org/html/2606.26333#bib.bib1)；Sutton and Barto, 1998 (https://arxiv.org/html/2606.26333#bib.bib2)； Schnell et al., 2025 (https://arxiv.org/html/2606.26333#bib.bib39)）。当奖励延迟或空间距离较远时，标准 TD 更新仅能局部传播价值信息，通常需要大量训练回合才能实现准确的长距离信用分配。诸如优先扫描（Moore and Atkeson, 1993 (https://arxiv.org/html/2606.26333#bib.bib32)）之类的经典加速策略通过重放重要转换来提高传播效率，但它们从根本上仍受限于底层非结构化的状态空间拓扑结构。

分层强化学习（HRL）通过时间抽象来解决慢速传播问题（Parr and Russell, 1997 (https://arxiv.org/html/2606.26333#bib.bib41)；Barto and Mahadevan, 2003 (https://arxiv.org/html/2606.26333#bib.bib5)；Pateria et al., 2021 (https://arxiv.org/html/2606.26333#bib.bib42)；Klissarov et al., 2025 (https://arxiv.org/html/2606.26333#bib.bib40)）。像 MAXQ（Dietterich, 2000 (https://arxiv.org/html/2606.26333#bib.bib3)）和基于选项的架构（Barto and Mahadevan, 2003 (https://arxiv.org/html/2606.26333#bib.bib5)；Sutton et al., 1999 (https://arxiv.org/html/2606.26333#bib.bib4)；Veeriah et al., 2021 (https://arxiv.org/html/2606.26333#bib.bib6)；Arcu di et al., 2025 (https://arxiv.org/html/2606.26333#bib.bib7)）这样的框架将策略分解为时间上扩展的子程序，从而缩短了有效的规划范围。虽然这些方法对于时间信用分配非常有效，但它们并未在状态空间上施加显式的空间结构，也没有提供跨空间分区强制执行一致价值传播的机制。

近期的工作还探索了在稀疏奖励环境中加速长距离信用分配的替代机制。值迭代网络（Tamar et al., 2016 (https://arxiv.org/html/2606.26333#bib.bib33)）嵌入了可微分的规划模块，以显式地跨空间状态表征传播奖励信息。诸如 RUDDER（Arjona-Medina et al., 2019 (https://arxiv.org/html/2606.26333#bib.bib34)）这样的奖励重分配方法将延迟的奖励重塑为早期的信息信号，从而显著

参见图注 图 1：Mesh-RL 的图形化说明。改善了长视界任务中的 TD 学习。后继特征表示（Barreto et al., 2017 (https://arxiv.org/html/2606.26333#bib.bib35)）将值函数分解为预测性的状态占用，从而能够更快地在相关任务间泛化奖励信号。Option-critic 架构（Bacon et al., 2017 (https://arxiv.org/html/2606.26333#bib.bib36)）端到端地学习时间抽象，减少了有效规划范围，并提高了稀疏奖励领域的稳定性。基于探索的规划框架，如 Go-Explore（Ecoffet et al., 2019 (https://arxiv.org/html/2606.26333#bib.bib37)），展示了结构化状态空间遍历能够显著改善困难稀疏奖励环境中的探索。

虽然这些方法增强了信用分配的时间或表示方面，但它们并未明确施加具有边界一致值耦合的空间域分解。Mesh-RL 通过将结构化的空间划分和确定性边界传播引入标准 TD 学习，对这些方向进行了补充。与此同时，数值分析和科学计算中的域分解技术早已证明，将大空间域分割成具有边界一致性约束的重叠子域，能够显著加速偏微分方程的求解（Toselli and Widlund, 2004 (https://arxiv.org/html/2606.26333#bib.bib11)；Taylor and Zienkiewicz, 2013 (https://arxiv.org/html/2606.26333#bib.bib17)）。受此观察启发，我们提出了 Mesh-RL，这是一个将结构化空间分解引入 TD 学习的 RL 框架。Mesh-RL 将环境划分为重叠的子网格，引入强制性通过边界，并执行边界感知的 TD 更新，从而显式地跨分区传播价值信息。这种学习策略产生更快、更稳定的奖励扩散，同时与标准的无模型 TD 算法完全兼容。

总的来说，我们工作的主要贡献可以总结如下：

- •我们提出了 Mesh-RL，一个受有限元方法启发的新颖框架，它通过强制执行边界一致的 TD 更新来在相邻子网格之间实现一致的价值传播，从而实现高效的局部计算，同时逼近全局解；
- •我们展示了 Mesh-RL 在 Q学习、SARSA 和 Dyna-Q 上的实验中持续改善了收敛速度、累积奖励和整体学习稳定性。

本文的组织结构如下。第 2 节在引言之后涵盖了相关工作。第 3 节描述了 Mesh-RL 如何填补主要由分层强化学习和优先扫描留下的空白。支持 Mesh-RL 的数学框架在第 4 节中介绍。第 5 节概述了我们的方法和实验框架，而基础的实证结果以及讨论和局限性分别在第 6 节和第 7 节中涵盖。最后，第 8 节结合本研究的总体发现对本文进行总结。

## 2 相关工作

分层与基于分解的强化学习。像 MAXQ（Dietterich, 2000 (https://arxiv.org/html/2606.26333#bib.bib3)）和基于选项的架构（Sutton et al., 1999 (https://arxiv.org/html/2606.26333#bib.bib4)；Barto and Mahadevan, 2003 (https://arxiv.org/html/2606.26333#bib.bib5)）这样的分层 RL 框架构建了时间抽象，通过分解长视界问题来加速学习。后续关于选项发现、嵌套抽象和多层 HRL 的工作进一步改善了时间结构学习（Veeriah et al., 2021 (https://arxiv.org/html/2606.26333#bib.bib6)；Arcudi et al., 2025 (https://arxiv.org/html/2606.26333#bib.bib7)）。然而，这些方法主要引入的是时间抽象而非空间抽象，并且没有在空间区域之间强制执行结构化的值一致性。

分治法和状态空间分解方法显式地划分状态空间以训练专门的策略或子目标（Ghosh et al., 2017 (https://arxiv.org/html/2606.26333#bib.bib8)；Sahni et al., 2017 (https://arxiv.org/html/2606.26333#bib.bib9)；Wong et al., 2021 (https://arxiv.org/html/2606.26333#bib.bib10)）。相关的图分区和瓶颈发现方法识别关键状态以指导探索（Menache et al., 2002 (https://arxiv.org/html/2606.26333#bib.bib14)；Bacon, 2014 (https://arxiv.org/html/2606.26333#bib.bib13)）。然而，这些方法通常将分区视为弱耦合模块，在训练后合并策略或值函数，而不是在学习过程中维持连续的边界同步。

奖励传播加速。有几种方法旨在加速 TD 奖励传播而不改变状态空间结构。优先扫描（Moore and Atkeson, 1993 (https://arxiv.org/html/2606.26333#bib.bib32)）选择性地重放具有高预期影响的转换，而 Dyna 式规划则集成基于模型的展开（Sutton, 1990a (https://arxiv.org/html/2606.26333#bib.bib38)）。原型值函数和谱方法构建反映状态空间几何的全局值基（Mahadevan, 2005 (https://arxiv.org/html/2606.26333#bib.bib12)）。内在动机和奖励塑形加速了稀疏奖励环境中的探索（Ng et al., 1999 (https://arxiv.org/html/2606.26333#bib.bib15)；Hare, 2019 (https://arxiv.org/html/2606.26333#bib.bib16)）。这些技术提高了效率，但没有改变 TD 传播在空间扩展环境中的基本局部性。

网格结构化与科学计算启发的强化学习。近年来，将 RL 应用于网格相关科学问题的兴趣日益增长。Yang 等人（Yang et al., 2023 (https://arxiv.org/html/2606.26333#bib.bib27)）将自适应网格细化形式化为一个 RL 问题。Freymuth 等人（Freymuth et al., 2023 (https://arxiv.org/html/2606.26333#bib.bib31)）提出了 Swarm RL，用于使用多智能体协调进行分布式自适应网格细化。Mojgani 等人（Mojgani et al., 2023 (https://arxiv.org/html/2606.26333#bib.bib28)）将多智能体 RL 应用于流体模拟中的亚网格尺度闭合建模。Wang 等人（Wang and Jiang, 2023 (https://arxiv.org/html/2606.26333#bib.bib29)）探索了基于想象力的 RL 中的网格结构化传播，而 Liu 等人（Liu et al., 2025 (https://arxiv.org/html/2606.26333#bib.bib30)）引入了用于 3D 网格生成的强化微调。这些工作证明了 RL 在网格上的实用性，但它们并未使用基于网格的域分解来修改 TD 值传播本身的内部机制。

总之，Mesh-RL 结合了源自有限元方法和域分解理论的三个关键要素：(a) **结构化子网格划分**，实现模块化和局部化学习；(b) **目标导向的更新序列**，优先处理更接近目标的网格以实现高效的奖励传播；以及 (c) **边界感知的 Q值同步**，在保持独立局部学习的同时确保全局一致性。如图 1 所示，较浅的颜色代表价值估计从目标 GG 成功传播回起点 SS。这些值通过一致性约束跨子网格边界传输，使得远程奖励能够比在未划分的空间中更有效地“逆流而上”。这些特性共同使 Mesh-RL 能够提高样本效率、加速收敛并维持探索，尤其是在标准 RL 方法常常难以应对的稀疏奖励环境中。

## 3 Mesh-RL 如何填补空白

Mesh-RL 引入了一个具有显式边界感知值耦合的空间结构化分解框架，填补了先前 HRL 和基于分解的方法留下的空白。分层 RL 构建时间抽象，而 Mesh-RL 则构建带有强制性通过边界的空间子网格，从而实现原则性的空间信用分配，而非纯粹的时间抽象。与独立训练子模块并事后合并它们的分治法和基于分区的 RL 不同，Mesh-RL 通过重叠的子网格接口和边界 TD 目标维持连续的边界同步，从而在整个学习过程中产生紧密耦合的全局值函数。

优先重放和基于模型的规划通过选择重要转换来加速奖励传播（Moore and Atkeson, 1993 (https://arxiv.org/html/2606.26333#bib.bib32)），但它们并未修改传播的底层空间结构。相反，Mesh-RL 引入了一种结构性加速机制：边界感知的 TD 更新，它能立即将下游的价值提升向上游跨空间分区传输。这在不修改奖励函数或引入辅助塑形信号的情况下产生了更快的奖励扩散。

最后，虽然近期基于网格的 RL 工作侧重于网格细化、网格质量优化或仿真控制（Yang et al., 2023 (https://arxiv.org/html/2606.26333#bib.bib27)；Freymuth et al., 2023 (https://arxiv.org/html/2606.26333#bib.bib31)；Mojgani et al., 2023 (https://arxiv.org/html/2606.26333#bib.bib28)；Liu et al., 2025 (https://arxiv.org/html/2606.26333#bib.bib30)），但 Mesh-RL 是第一个将网格启发的域分解作为 RL 自身内部学习原则的框架。通过将子网格视为域分解元素，将边界 TD 约束视为离散连续性条件，Mesh-RL 将一个经过验证的科学计算范式引入 TD 学习。重要的是，它与 Q学习、SARSA 以及混合方法 Dyna-Q 等标准无模型算法完全兼容，在保持简洁性的同时，为可扩展的空间 RL 提供了一种新颖的、受物理启发的机制。

## 4 Mesh-RL：数学框架与基于网格的 TD 学习

Mesh-RL 受有限元方法（FEM）启发，FEM 是计算物理和工程领域的基石，它将复杂的物理域划分为在节点处连接的更小子域（单元）。在 FEM（Taylor and Zienkiewicz, 2013 (https://arxiv.org/html/2606.26333#bib.bib17)；Hughes, 2003 (https://arxiv.org/html/2606.26333#bib.bib18)；Bathe, 2006 (https://arxiv.org/html/2606.26333#bib.bib20)；Reddy, 2005 (https://arxiv.org/html/2606.26333#bib.bib19)）中，使用插值函数或形函数局部逼近控制偏微分方程（PDE），边界条件强制执行单元间的一致性。这种分解使得能够以模块化和高效的方式解决大型、复杂的问题。类似地，在 Mesh-RL 中，强化学习环境的状态空间被划分为 M 个子网格，称为网格或单元。每个网格被视作一个独立的学习单元，在其中本地执行 Bellman 更新。更新从包含目标的网格开始向外传播，边界值通过平均进行同步以强制执行全局一致性。在每个 episode 之后，所有网格的 Q 值被拼接在一起，平均后的边界值被重新分配给每个网格用于下一次学习迭代。这个过程确保了每个网格内的局部学习是耦合的，从而在整个环境中实现结构化且加速的价值传播。