连续时间跳跃马尔可夫决策过程中的强化学习及其在网络动态定价中的应用

# 面向连续时间跳跃马尔可夫决策过程的强化学习及其在网络动态定价中的应用  
来源：https://arxiv.org/html/2608.20680  

**作者：**  
胡丽玲  
备注：香港中文大学系统工程与工程管理系，香港，中国  
邮箱：[email protected]  

陈宁远  
备注：多伦多大学罗特曼管理学院，加拿大多伦多  
邮箱：[email protected]  

高雪峰  
备注：香港中文大学系统工程与工程管理系，香港，中国  
邮箱：[email protected]  

2026年8月21日  

###### 摘要  
我们研究连续时间跳跃马尔可夫决策过程（CTJMDPs）中的强化学习（RL），该过程具有通用离散状态空间（不必具备向量空间结构）及连续/离散动作空间。该设置涵盖运营中许多知名应用，如具有容量约束资源的多产品动态定价[11]。为建模探索-利用权衡，我们提出了基于随机策略的熵正则化连续时间控制问题。近期连续时间RL技术如针对受控扩散的QQ学习[20]，聚焦于连续状态空间ℝ^d，并严重依赖ℝ^d上的半鞅理论进行理论分析。因此，其方法无法直接应用于具有通用离散状态空间的CTJMDPs，因为后者可能缺乏欧几里得空间固有的代数加减结构。为弥合这一差距，我们为CTJMDPs建立了QQ学习的理论基础，并开发了无模型QQ学习算法。与朴素的时间离散化及使用离散时间MDPs近似CTJMDPs的方法相比，我们的方法在概念和实证上具有多重优势。网络动态定价[11]的数值实验表明，所提出的RL算法能可靠地学习近最优策略，并始终优于标准基准方法，展现了卓越的解质量及对大规模网络实例的有效扩展性。  

## 1 引言  
强化学习（RL）是一种强大的方法，使智能体能够通过与环境的交互学习最优策略[32]。尽管RL文献浩瀚，但现有大多数工作基于离散时间马尔可夫决策过程（MDPs），这为建模序列决策提供了数学框架。然而，许多现实世界的物理系统（如自动驾驶、高频交易和机器人导航）在连续时间下运行，需要实时监控和决策。特别是，决策不一定在固定间隔做出，使得离散时间模型不足。对于连续时间决策问题，可以预先统一离散化时间，并应用针对离散时间MDPs开发的现有RL算法。然而，该方法可能对离散化步长的选择高度敏感，且在小时间步长下表现不佳（参见[28, 29, 33]）。这些局限性，加上连续时间设置中丰富的分析工具，近年来引发了对连续时间RL的兴趣激增[7, 12, 16, 20, 35, 36, 39]。现有研究主要集中在具有ℝ^d连续状态空间的受控系统，其系统动力学由随机微分方程（SDEs）支配。相比之下，本文聚焦于离散状态空间中的连续时间RL。我们考虑具有可数状态空间的连续时间跳跃马尔可夫决策过程（CTJMDP）[9]作为我们的数学决策模型，它是离散时间MDPs的自然连续时间扩展。我们研究的CTJMDPs具有以下特征：1）系统被连续观测，且可在任意时间点做出（确定性）动作；2）状态空间可数，且不必具有如ℝ^d这样的向量空间结构；3）动作空间可以是离散或连续的；4）转移率可能依赖于时间；5）奖励结构包括连续奖励率和跳跃奖励，二者都可能依赖于时间且无界。这些特征排除了直接应用现有RL理论的可能性，需要新的方法工具。关键的是，CTJMDPs不同于半马尔可夫决策过程（SMDP）[30，第11章]，后者决策仅限于状态转移时刻，无法连续更新。因此，CTJMDPs为建模受实时控制的纯跳跃随系统提供了理想框架，在运筹学中有广泛应用，如排队控制[4]、种群管理[15]和动态定价[10]。尽管具有建模灵活性和丰富的理论基础[27, 9, 15]，但针对系统动力学未知的CTJMDPs的无模型RL算法仍未得到充分探索。我们通过为CTJMDPs开发可解释和可扩展的RL算法来解决这一基本差距。  

### 1.1 贡献  
本研究聚焦于有限时域情景式RL设置，其中智能体在多个情景中重复与环境交互，旨在学习CTJMDP的最优策略。本文主要贡献总结如下。  

- 首先，我们为CTJMDPs的无模型RL开发了一个全面且原则性的框架，涵盖理论基础和算法设计。该框架扩展了最初由[20]为受控SDEs开发的连续时间QQ学习理论（作为离散时间QQ学习的连续时间类比），将其应用于离散状态跳跃系统。与[20]中的ℝ^d值扩散或[12]中的ℝ^d值跳跃扩散不同，CTJMDPs中的RL带来独特的理论挑战：其离散状态空间通常缺乏向量空间运算（例如，加法、减法），并且不支持微积分。因此，[20, 12]中严重依赖ℝ^d上的半鞅和伊藤公式的连续时间RL分析在我们的设置中失效。我们通过建立针对CTJMDP在随机马尔可夫策略下可观测状态过程的Dynkin公式（定理1）来克服这些挑战。该结果实现了使用样本轨迹对最优值函数和QQ函数的鞅刻画（定理2）。关键的是，我们的推导（定理2）与[20, 12]中的相应结果不同，它在更温和的条件下容纳了CTJMDPs固有的跳跃奖励。这种鞅刻画为CTJMDPs生成了可解释的QQ学习算法。此外，与SDEs不同，CTJMDPs的样本路径是分段常数，跳跃发生在离散时间点。这一独特特性允许对值函数中出现的积分进行更精确的近似，并被纳入我们为CTJMDPs开发QQ学习算法的过程中。  

- 其次，我们将该框架应用于[11]中的经典航空网络动态定价问题。该问题结合了有限时域、离散状态、连续价格动作和未知需求函数；共享的航段使得状态和定价决策都具有高维性和耦合性。在小型网络中，学习到的策略实现的收入与时离散化动态规划基准相比在2.39%以内，并改进了[11]中的两种启发式策略。在大型网络中（约有5.88×10^13个状态和18维连续动作空间），学习到的策略即使在使用已知需求函数的情况下也略微优于两种启发式策略。这些结果表明，无模型QQ学习算法可以在小型网络中学习近最优策略，并扩展到直接动态规划不可行的大型网络。附录A将相同的连续时间RL框架应用于有限时域动态服务器分配问题，展示了其在排队控制中的广泛适用性。  

### 1.2 相关工作  
我们的工作与两个研究流密切相关，包括连续时间跳跃决策过程的RL，以及网络收益管理。以下我们重点介绍我们的工作与现有研究之间的关键区别。  

#### 连续时间跳跃决策模型的RL。  
早期基础性工作通过将QQ学习等算法应用于无限时域SMDPs来引入连续时间RL[3, 8]。无限时域SMDPs的标准方法是应用均匀化，将系统转换为等效的离散时间MDP以利用离散时间RL技术[6等]。然而，均匀化对于本文考虑的有限时域CTJMDPs是失败的。因为有限时域设置中的最优策略是非平稳的且明确依赖于连续时间索引t，系统无法映射到等效的离散时间MDP。从理论上讲，[13]和[14]最近分别建立了表格型连续时间MDPs在无限时域平均奖励和有限时域情景设置下的遗憾界。他们的决策模型属于指数SMDP类[9]，与我们的CTJMDP公式有根本区别：他们的框架将决策时刻限制在跳跃时刻，而我们的框架允许在跳跃事件之间连续调整动作。最近，[25]开发了一种专门用于基于选择的网络收益管理中连续时间强度控制的策略梯度算法。相比之下，我们的工作为通用CTJMDPs建立了统一的、无模型的RL框架；他们工作中的强度控制设置可以视为我们更广泛框架中的一个特例。在本工作最终完成时，arXiv上出现了一篇同期预印本[38]。虽然他们也探索了离散状态空间中受控连续时间马尔可夫链的强化学习，特别是提出了连续时间近端策略优化变体以微调离散生成扩散模型，但我们的工作是独立开发的，并在理论结果、算法设计和目标应用方面存在根本差异。  

#### 网络收益管理。  
[11]的经典网络动态定价模型考虑了消耗有限共享资源的多种产品。客户在连续时间到达，公司根据剩余容量连续调整价格向量。该模型是一个自然的CTJMDP：剩余容量构成离散状态，销售导致状态跳跃，价格构成连续动作空间。相关研究探讨了相同的连续时间和连续价格公式[1等]。此后，提出了许多该问题的变体并进行了研究。值得注意的是，动作空间可以变成离散的（例如，[34]中的接受/拒绝决策或[23]中的组合决策），时域可以变成离散的，例如在[24, 37, 19]中。这些变化使问题更易于处理，并允许应用离散时间强化学习方法，例如[22]。然而，时域的离散化带来了近似误差，这通常难以分析，并且当网格太细时可能引发数值问题。在本研究中，我们保留了[11]的连续时间和连续价格公式，并开发了一种原则性的RL方法来解决具有任意未知需求函数的网络动态定价问题。相关地，网络收益管理的需求学习文献非常广泛。他们研究了[11]中的设置，但需求函数最初未知。[2]是最早的研究之一，使用连续时间设置。许多研究使用离散时间和连续动作设置，例如[5, 26]。这方面的文献主要关注设计具有遗憾保证的高效在线学习算法，以在需求不确定性下平衡学习-收益权衡。与这些研究不同，我们的重点是开发计算型无模型RL方法，能够处理大规模状态空间中的高维性和函数近似。文献中已出现若干此类研究。例如，[31]将在线表格型QQ学习应用于多产品设置，其中产品通过具有独立容量的交叉价格需求效应相互作用，而不是竞争共享网络资源。同时，[18]改编了离线行动者-评论家方法，从历史销售数据中学习网络动态定价策略。这些研究通常将问题表述为具有离散时间和离散动作设置的离散时间MDP。因此，它们与我们的工作有根本不同。  

**符号。** 对于任意给定函数 w: 𝒳 ↦ (0, ∞)，我们引入与 w 相关的一些符号如下。函数 φ: [0, T] × 𝒳 ↦ ℝ 若满足 φ 的 w 加权范数，则被称为 w-有界的。