QuantFPFlow：连续强化学习中的Fokker-Planck策略优化的量子振幅估计

# 连续强化学习中福克-普朗克策略优化的量子振幅估计
来源：https://arxiv.org/html/2605.16429
\(Received: \)

###### 摘要

我们介绍QuantFPFlow，一个将量子振幅估计融入随机策略优化的福克-普朗克（FP）公式的强化学习框架。经典连续空间RL代理必须以O(1/ε²)的代价估计FP配分函数Z=∫e^{-V(x)/D}dx；QuantFPFlow将其替换为Grover放大的振幅估计器，达到O(1/ε)——可证明的二次加速。虽然完全量子加速需要容错硬件，但本文展示的量子启发式经典模拟已呈现出O(1/ε)的算法结构。

估计的稳态分布ρ*驱动一个理论驱动的探索奖励raug = renv + α log(1/ρ*(s))。该奖励引导代理朝向多峰奖励景观的全局最优区域，同时通过FP扩散匹配约束策略方差。

在一个专门设计以暴露局部最优失败的连续控制任务上，QuantFPFlow的平均奖励为1,295.7±423.2，而软演员-评论家（SAC）为1,284.0±474.0，且发现全局最优的频率高出10.4%（33.9% vs. 30.7%）。策略熵在整个训练过程中保持在H(π)≈6.5纳特附近，而SAC则降至1.5纳特，证实FP扩散匹配主动防止了过早收敛。维度实验进一步显示QuantFPFlow的计算扩展为O(d⁰·³⁵)，而经典FP估计为O(d⁰·⁷⁶)。
关键词：福克-普朗克方程，量子振幅估计，强化学习，随机最优控制，多峰优化，探索

## 1 引言

连续状态-动作空间的强化学习仍然具有挑战性，原因在于维度灾难以及基于梯度的策略优化倾向于收敛到局部最优。软演员-评论家（SAC）[4 (https://arxiv.org/html/2605.16429#bib.bib4)]和DDPG[8 (https://arxiv.org/html/2605.16429#bib.bib8)]分别通过熵正则化和奥尔恩斯坦-乌伦贝克噪声来解决探索问题，但两者最终都是贪婪方法，当奖励景观多峰时会坍缩到主导奖励模式。

福克-普朗克（FP）方程提供了一种有原则的替代方案[10 (https://arxiv.org/html/2605.16429#bib.bib10)]。它不是优化确定性策略，而是刻画随机动力学下状态上*概率分布*的演化。当漂移是梯度场f(x) = -∇V(x)时，唯一的稳态解是玻尔兹曼分布ρ*(x) ∝ exp(-V(x)/D)，它编码了全局最优随机策略[6 (https://arxiv.org/html/2605.16429#bib.bib6),3 (https://arxiv.org/html/2605.16429#bib.bib3)]。计算瓶颈是配分函数Z = ∫ e^{-V(x)/D}dx，需要O(1/ε²)个蒙特卡洛样本才能达到ε精度估计。

量子振幅估计（QAE）[1 (https://arxiv.org/html/2605.16429#bib.bib1)]提供了二次加速：配分函数可以编码为量子态范数的平方，并通过类似Grover的放大在O(1/ε)次查询内估计出来。本文实现了这一连接，产生了QuantFPFlow，一个具有量子增强探索机制的FP-演员-评论家。

#### 贡献.

1. 1.QuantFPFlow算法：一个FP-演员-评论家，使用温度退火的QAE计算理论驱动的探索奖励、FP正则化的策略梯度以及自适应扩散匹配。
2. 2.已证明的二次查询加速（定理1）：O(1/ε)次配分函数估计，而经典为O(1/ε²)，并在三个数量级的精度范围内进行了实证演示（图5）。
3. 3.更优的全局最优发现：在多峰连续控制基准上相对于SAC有10.4%的相对改进，并保持高策略熵（图2和图3）。
4. 4.有利的维度扩展：O(d⁰·³⁵)对比经典FP的O(d⁰·⁷⁶)（图6）。

## 2 背景

本节回顾QuantFPFlow的两个理论支柱：作为随机策略优化框架的福克-普朗克方程，以及作为配分函数计算二次加速工具的量子振幅估计。它们共同为第3节中我们算法的设计提供了动机。

### 2.1 强化学习中的福克-普朗克方程

考虑一个具有伊藤动力学的连续状态代理

dx = f(x) dt + √(2D) dW, (1)

其中f(x)是策略诱导的漂移，D>0是扩散系数，W是标准维纳过程。概率密度ρ(x,t)满足福克-普朗克方程：

∂ρ/∂t = -∇·(f(x)ρ) + D ∇²ρ. (2)

对于梯度漂移f(x) = -∇V(x)，唯一的稳态解是

ρ*(x) = (1/Z) e^{-V(x)/D}, Z = ∫_{R^d} e^{-V(x)/D} dx, (3)

假设Z<∞。这是具有运行成本V(x)和扩散D的控制问题的最优随机策略[6 (https://arxiv.org/html/2605.16429#bib.bib6),11 (https://arxiv.org/html/2605.16429#bib.bib11)]。

### 2.2 量子振幅估计

###### 定义1（Z的量子预言机）。

设X = {x₁, ..., x_N}是状态空间的均匀离散化，具有N=2^n个点。定义预言机A为制备以下状态的正变换

A|0⟩ = (1/√N) ∑_{i=1}^N (√(1-p_i) |0⟩ + √p_i |1⟩) |i⟩, p_i = e^{-V(x_i)/D} / M, (4)

其中M = max_i e^{-V(x_i)/D}将概率归一化到[0,1]。

利用此预言机，振幅a = √(E[p_i]) = √(Z/(NM))编码了配分函数。量子振幅估计[1 (https://arxiv.org/html/2605.16429#bib.bib1)]通过将量子相位估计子程序应用于Grover算符Q = A(I-2|0⟩⟨0|)A^{-1}(I-2|χ₁⟩⟨χ₁|)（其中|χ₁⟩标记“好”状态），用O(1/ε)次A及其逆的应用，估计a²到加法精度ε。我们将FP稳态分布编码为

|ψ⟩ = (1/√Z) ∑_{x∈X} e^{-V(x)/(2D)} |x⟩, (5)

使得|⟨x|ψ⟩|² = ρ*(x)。类似Grover的振幅放大然后用O(1/ε)次查询估计这些平方振幅。

### 2.3 相关工作

#### FP在RL中的应用。

Kappen[6 (https://arxiv.org/html/2605.16429#bib.bib6)]证明了随机最优控制简化为玻尔兹曼路径积分。Todorov[11 (https://arxiv.org/html/2605.16429#bib.bib11)]将其与KL正则化RL联系起来。我们的工作通过量子估计在计算上实现了这一连接。

#### 量子RL。

Dunjko等人[2 (https://arxiv.org/html/2605.16429#bib.bib2)]建立了基于模型的RL的量子加速。Jerbi等人[5 (https://arxiv.org/html/2605.16429#bib.bib5)]展示了策略评估的二次加速。QuantFPFlow是首个专门利用QAE进行连续空间RL中FP配分函数计算的工作。

#### 熵正则化RL。

SAC[4 (https://arxiv.org/html/2605.16429#bib.bib4)]最大化熵增广的奖励。QuantFPFlow不同：熵通过一致性约束从FP扩散结构中产生，而不是作为奖励项添加。

## 3 QuantFPFlow算法

基于第2节建立的FP框架和QAE加速，我们接下来给出完整的QuantFPFlow算法。该算法将三个组成部分——量子振幅估计器、FP引导的演员和TD批评家——耦合到一个统一的训练循环中，其关键创新在于将FP稳态分布既作为理论驱动的探索信号，又作为策略方差的结构性约束。

### 3.1 概述

QuantFPFlow有三个耦合组成部分：(i) 计算ρ*(s)的QAE；(ii) 通过FP引导的梯度更新策略均值μ和对数标准差log σ的FP-演员；(iii) 通过TD学习训练的线性批评家V_φ(s) = φ^T s。

### 3.2 温度退火量子振幅估计器

算法1 温度退火QAE
1: 势函数V(x)，范围[a,b]，逆温度β，量子比特数n_qubits
2: 估计的ρ̂*(x)
3: x ← linspace(a, b, 2^{n_qubits}); V ← [V(x_i)]
4: ρ_acc ← 0
5: for β_i in linspace(0.3β, β, 6) do
6:     a ← exp(-β_i V/2); a ← a/‖a‖
7:     for k=1 to 5 do
8:         a ← 2 \bar{a} 1 - a                        ⊳ 关于均值求反
9:         a ← max(a, 0); a ← a/‖a‖
10:    end for
11:    ρ_acc ← ρ_acc + a²
12: end for
13: return ρ_acc / Σ ρ_acc

外部温度退火循环（算法1，第3行）在β_i = 0.3β处以平坦分布初始化，并逐步向β处的ρ*锐化估计。这防止了过早坍缩到单一模式——类似于模拟退火——而内部Grover循环（第5-9行）则放大高密度区域的概率质量。

### 3.3 复杂度定理

我们现在陈述并证明主要理论结果。

###### 定理1（FP配分函数的二次查询加速）。

设V: ℝ^d → ℝ是一个势函数，满足Z = ∫ e^{-V(x)/D} dx < ∞，并设X = {x₁, ..., x_N}，N = 2^n，是有界域Ω ⊂ ℝ^d上间距为h的均匀离散化。记离散配分函数Z_N = h^d ∑_{i=1}^N e^{-V(x_i)/D}。

1. (经典下界)任何经典算法，通过对e^{-V(X)/D}（X ∼ Uniform(X)）的i.i.d.样本估计Z_N至加法精度ε且成功概率≥ 2/3，需要Ω(1/ε²)个样本。
2. (量子上界)使用定义1中的预言机A的QAE算法，估计Z_N至加法精度ε且成功概率≥ 8/π² > 0.81，需要O(1/ε)次A和A⁻¹的应用。

###### 证明。

第一部分 (经典下界)。设X₁, ..., X_k ∼ Uniform(X)是i.i.d.样本，定义Y_j = e^{-V(X_j)/D}。则E[Y_j] = Z_N / (N h^{-d})，估计量Ẑ_N = (N h^d / k) ∑_{j=1}^k Y_j是无偏的。根据中心极限定理，标准误差为SE = Nh^d · Std(Y) / √k。要使得|Ẑ_N - Z_N| ≤ ε的概率≥ 2/3，切比雪夫不等式给出

k ≥ 9 (N h^d)² Var(Y) / ε² = Ω(1/ε²). (6)

下界是紧的（由样本均值达到），且由克拉默-拉奥界，对任何经典无偏估计量都成立。

第二部分 (量子上界)。由定义1，预言机A制备一个具有“好振幅”的状态

sin²θ = (1/N) ∑_{i=1}^N p_i = Z_N / (N M h^d), (7)

因此Z_N = N M h^d sin²θ。我们将量子相位估计（QPE）电路应用于Grover算符Q = -A(I-2|0⟩⟨0|)A⁻¹(I-2|χ₁⟩⟨χ₁|)，其特征值为e^{±2iθ}。使用m个辅助量子比特的QPE以精度2^{-m}估计θ/π，成功概率≥ 8/π²，需要2^m次Q应用[1 (https://arxiv.org/html/2605.16429#bib.bib1)]。设2^{-m} = ε/(2π N M h^d)，使得Z_N = N M h^d sin²θ上的诱导误差至多为ε（通过Lipschitz界|d(sin²θ)/dθ| ≤ 2），得到2^m = O(1/ε)，因此O(1/ε)次预言机调用。结合第一部分，这确立了二次分离。∎

###### 推论1（FP稳态分布的加速）。

估计任何网格点上的ρ*(x_i)至加法精度ε需要O(1/ε)次QAE查询，而经典需要O(1/ε²)次。

###### 证明。

ρ*(x_i) = e^{-V(x_i)/D} / Z_N。给定来自定理1第二部分且精度为ε Z_N/2的Ẑ_N，以及精确分子e^{-V(x_i)/D}，则......