从离散到连续：连续环境中神经强化学习的动力学

arXiv cs.LG 论文
reinforcement-learning continuous-time stochastic-control actor-critic neural-networks stochastic-differential-equations deep-learning

摘要

本文提出了一个用于连续环境中深度强化学习的理论框架，利用随机控制理论将其建模为连续时间随机过程。作者刻画了在两层网络无限宽极限下的演员-评论家算法的动力学，并推导了一个在极小的学习率下状态分布无穷小变化的方程。

arXiv:2606.04275v1 公告类型：新 摘要：我们通过将问题建模为连续时间随机过程，借鉴随机控制的理论，提出了一种用于连续环境中深度强化学习的新颖理论框架。在前人工作的基础上，我们引入了一个可行的演员-评论家算法模型，该模型同时包含探索和随机转移。对于单隐层神经网络，我们证明了环境状态可以表述为两时间尺度过程：环境时间和梯度时间。在此框架内，我们刻画了表示环境状态和累积折扣回报估计的时变随机变量如何在梯度步上演变，且是在两层网络的无限宽极限下。利用随机微分方程理论，我们首次在连续强化学习中推导了一个方程，该方程描述了在极小的学习率下每个梯度步上状态分布的无穷小变化。总体而言，我们的工作为研究过参数化神经演员-评论家算法提供了一种新颖的非参数化表述。我们通过一个玩具连续控制任务实证验证了我们的理论结果。
查看原文
查看缓存全文

缓存时间: 2026/06/05 02:24 

# 从离散到连续：连续环境中神经强化学习的动力学
来源：https://arxiv.org/abs/2606.04275
查看 PDF (https://arxiv.org/pdf/2606.04275)

> 摘要：我们提出了一种针对连续环境中深度强化学习（RL）的新型理论框架，通过将问题建模为连续时间随机过程，借鉴了随机控制的相关见解。在已有工作的基础上，我们引入了一个可行的演员-评论家算法模型，该模型同时包含了探索和随机转移。对于单隐层神经网络，我们证明环境状态可以表述为两个时间尺度的过程：环境时间和梯度时间。在该框架下，我们刻画了代表环境状态和累积折扣回报估计的时变随机变量，如何在两层网络的无限宽度极限下随梯度步骤演化。利用随机微分方程理论，我们首次在连续强化学习中推导出一个方程，描述了在极小的学习率下，每个梯度步骤中状态分布的无穷小变化。总体而言，我们的工作为研究过参数化神经演员-评论家算法提供了一种新颖的非参数化表述。我们通过一个简单的连续控制任务实证验证了理论结果。

## 提交历史

来自：Saket Tiwari [查看邮箱](https://arxiv.org/show-email/badea599/2606.04275)  
**[v1]** 2026年6月2日星期二 23:02:54 UTC（1,617 KB）

相似文章

流经状态：用于强化学习的神经ODE正则化

arXiv cs.LG

本文提出了一种基于神经ODE的正则化方法，该方法强制强化学习智能体中的潜在嵌入遵循一致的ODE流，使表示学习与环境动态对齐，并在Atari和网格世界基准上取得了性能提升。

Homeostatic Continual Learning

arXiv cs.AI

本文提出了Homeostatic Continual Learning，一种使AI代理在变化环境中持续学习而不发生灾难性遗忘的方法，通过检测离群点并逐步扩展世界模型来实现。