用于高斯过程回归的主动量子核获取

# 面向高斯过程回归的主动量子核获取
来源：https://arxiv.org/html/2606.28833

###### 摘要

在近期硬件上进行量子核估计受限于采样预算：核 Gram 矩阵的每个条目都是一个伯努利期望值，必须用有限次数的电路执行来采样。最近关于量子核分类的研究表明，根据下游任务敏感度对核条目进行非均匀分配采样次数，可以在达到目标精度时减少所需的采样预算。我们将这一思想扩展到高斯过程 (GP) 回归，其下游量（全谱后验方差、对数行列式、边际似然）与核误差的耦合比分类中仅依赖符号的输出更紧密。我们推导了三种闭环的成对级敏感度——预测耦合系数 |α_i α_j|、留一法残差和边际似然梯度——并将它们纳入 Neyman 风格的最小方差分配规则中。为了防止当预热敏感度估计本身存在噪声时出现灾难性的过度集中，我们添加了一个高均匀覆盖下限，该下限由缺失条目扰动的 Frobenius 下界证明。在四个 UCI 基准测试和两个合成 RBF + 伯努利控制研究中，得到的分配器在中等预算范围内比均匀分配提高了 10%–21% 的测试 RMSE。这一改进 (i) 可迁移到量子自然数据上的真实 ZZ 和 Pauli-Z 量子核（低预算下 13%–15%，配对检验 p<0.05），以及 (ii) 可迁移到四个下游任务（贝叶斯求积、异方差回归、超参数学习、多输出协同克里金）。当 UCI 特征嵌入 ZZ 核时，改进消失，这与指数集中区域一致，在该区域中采样分配毫无优势。我们提出的三种成对级敏感度并非任意的 Fisher 替代量：|α_i α_j| 是预测均方误差目标下精确 Neyman 权重（当 M = yy^⊤ 时）的秩 1 特化；边际似然梯度是精确偏导数；留一法敏感度则包含一个可控修正项。

## 引言

量子核方法承诺能够高效计算地访问某些结构化数据中被推测为经典难解的 feature 空间 (Havlíček et al., 2019; Schuld and Killoran, 2019)。实际部署的瓶颈在于每个核条目 \(K_{ij} = |\langle \phi(x_i) | \phi(x_j) \rangle|^2\) 是反转测试电路的成功概率，必须通过有限次数的采样 \(s_{ij}\) 来估计。由此产生的伯努利噪声缩放为 \(\text{Var}(\widehat{K}_{ij}) = K_{ij}(1-K_{ij})/s_{ij}\)，构建一个 \(n \times n\) Gram 矩阵以达到均匀精度的总成本随 \(O(n^2/\epsilon^2)\) 增长，这在 \(n\) 为几百时已经给当前硬件预算带来压力 (Huang et al., 2021; Thanasilp et al., 2024)。解决这一缩放问题的自然方法是认识到并非所有核条目对下游任务同样重要。对于使用核 Ridge 回归 (KRR) 或 SVM 的量子核分类，最近的研究表明损失梯度 \(\partial L / \partial K_{ij}\) 在不同配对间的大小高度异质，并且按照 Neyman 最优目标 \(s_{ij}^* \propto |\partial L / \partial K_{ij}| \sqrt{K_{ij}(1-K_{ij})}\) 分配采样次数，在相同预算下比均匀分配能获得显著的精度提升 (Xu et al., 2026; Miroszewski, 2026)。该论证是 Neyman 1934 年分层抽样结果的直接应用，用量子核估计的语言表述。

本文提出一个疑问：同样的思路在高斯过程 (GP) 回归中是否有帮助？答案并不明显。一方面，GP 回归有更多可用的结构——闭环后验、闭环边际似然、闭环留一法残差。另一方面，GP 的预测和似然度都依赖于逆矩阵 \((K + \sigma_n^2 I)^{-1}\)，而逆运算会以条件数 \(1/\sigma_n^2\) 的倍数放大核噪声。一个对分类而言轻微次优的采样分配策略，对 GP 回归而言可能是灾难性的。

我们做出四项贡献：
1.  我们推导了 GP 回归的三种闭环成对级敏感度——预测耦合系数 \(|\alpha_i \alpha_j|\)、留一法残差和边际似然梯度——每一种都捕捉了核不确定性如何传播到预测的不同方面。
2.  我们识别出 GP 回归特有的一种失败模式：当每对预算很低时，预热核估计噪声太大，无法产生可靠的敏感度，而基于敏感度的分配会使测试误差恶化几百个百分点。我们证明 50% 的均匀覆盖下限可以恢复鲁棒性，而相应的分类设置只需要 10%–20%。
3.  经验上，在四个 UCI 回归基准测试和两个合成设置（\(n_{tr}=200\)，5–10 个随机种子）上，该分配器在中等预算范围（每对约 50–250 次采样）内持续实现 10%–21% 的 RMSE 降低。
4.  与分类中分配增益在“稀疏”、锚点密集的数据上最大不同，GP 回归在“密集”的 GP 采样上增益最大。我们通过 \((K + \sigma_n^2 I)^{-1}\) 的结构解释了这一点：即使核是同质的，谱衰减也会产生预测异质性，而同样的异质性驱动了敏感度。

## 背景

### 作为伯努利抽样的量子核估计

量子 feature 映射 \(\phi: \mathcal{X} \to \mathcal{H}_Q\) 由参数化酉算子 \(U(x)\) 作用于全零态 \(|0\rangle^{\otimes q}\) 实现。诱导核是保真度 \(K(x_i, x_j) = |\langle 0|U(x_j)^\dagger U(x_i)|0\rangle|^2 \in [0,1]\)。标准的反转测试通过制备 \(U(x_j)^\dagger U(x_i)|0\rangle\)、在计算基上测量并记录全零态的概率来估计 \(K(x_i, x_j)\)。使用 \(s_{ij}\) 次独立电路执行（“采样次数”），经验估计量 \(\widehat{K}_{ij}\) 是 \(s_{ij}\) 个伯努利(\(K_{ij}\)) 随机变量的样本均值，满足
\[
\mathbb{E}[\widehat{K}_{ij}] = K_{ij}, \quad \text{Var}(\widehat{K}_{ij}) = \frac{K_{ij}(1-K_{ij})}{s_{ij}}.
\]
我们将每对采样预算 \(s_{ij}\) 视为一个设计变量，受全局约束 \(\sum_{i \leq j} s_{ij} = B\)。这是我们唯一需要分配的资源；所有其他选择（feature 映射、电路深度、误差缓解）视为固定。

#### 指数集中区域。
当量子核 \(K(x_i, x_j)\) 本身随着系统增长而集中在某个固定值附近时，会出现另一种失败模式 (Thanasilp et al., 2024)。在该区域中，信噪比 \(|K_{ij} - K_{i'j'}|^2 / \text{Var}(\widehat{K})\) 随 \(q\) 呈指数衰减，重新分配采样次数无法挽救。我们在此区域之外工作，将 \(K(\cdot, \cdot)\) 视为固定有界核，仅研究如何最优地花费预算 \(B\)。

### 高斯过程回归

高斯过程先验 \(f \sim \mathcal{GP}(0, k(\cdot, \cdot))\) 与观测值 \(y_i = f(x_i) + \varepsilon_i, \varepsilon_i \sim \text{iid} \mathcal{N}(0, \sigma_n^2)\) 相伴，可得到闭环后验 \(f|y \sim \mathcal{GP}(\mu_*, k_*)\)，在任意 \(x_*\) 处的预测均值和方差为：
\[
\mu_*(x_*) = \mathbf{k}_*^\top \alpha, \quad \alpha := A^{-1} \mathbf{y},
\]
\[
\sigma_*^2(x_*) = k(x_*, x_*) - \mathbf{k}_*^\top A^{-1} \mathbf{k}_* + \sigma_n^2,
\]
其中 \(A := \mathbf{K} + \sigma_n^2 I\)，\(\mathbf{k}_* = (k(x_*, x_i))_i\)。训练标签的（负）对数边际似然为：
\[
\mathcal{L}(\mathbf{K}; \mathbf{y}) = \frac{1}{2} \mathbf{y}^\top A^{-1} \mathbf{y} + \frac{1}{2} \log |A| + \frac{n}{2} \log(2\pi).
\]
当 \(\mathbf{K}\) 受采样噪声影响时，所有三个量 \(\mu_*\)、\(\sigma_*^2\)、\(\mathcal{L}\) 都通过逆矩阵 \(A^{-1}\) 继承噪声，这是我们在方法部分利用的放大源。

#### GP 为何比分类更“耗采样”？
分类 AQKA 中使用的 KRR / SVM 损失也涉及 \(\mathbf{K}^{-1}\)：KRR 的 \(\alpha = (\mathbf{K} + \lambda I)^{-1} \mathbf{y}\) 中的 \(\lambda\) 扮演着 GP 中 \(\sigma_n^2\) 的角色。所以“GP 有逆矩阵，分类没有”并非结构差异。差异在于用户关心的下游量不同。分类的 0/1 准确率依赖于 \(\text{sign}(\mu_*)\)，它对 \(\alpha\) 的乘法缩放具有鲁棒性；而 GP 关注的是：
1.  \(\mu_*\) 的大小（测试 RMSE / 负对数似然），
2.  预测方差 \(\sigma_*^2 = k(x_*, x_*) - \mathbf{k}_*^\top A^{-1} \mathbf{k}_* + \sigma_n^2\)，它依赖于 \(A^{-1}\) 的全谱而非其顶部特征方向，
3.  边际似然 \(\mathcal{L}\)，它添加了一个 \(\log |A|\) 项，累加了每个特征值的误差。
第 (ii) 和 (iii) 项是 GP 特有的，在 0/1 分类中没有对应物。这就是为什么 GP 每对需要比分类更多的采样次数，也是我们提出三种 GP 特有敏感度的动机。

#### \(A^{-1}\) 的条件数。
Gram 矩阵 \(\mathbf{K}\) 的特征值为 \(0 \leq \lambda_n \leq \dots \leq \lambda_1\)，对于典型有界核有 \(\lambda_1 = O(n)\)，而 \(\lambda_n\) 可以任意小。\(A^{-1}\) 对应的特征值为 \(1/(\lambda_i + \sigma_n^2) \in [1/(\lambda_1 + \sigma_n^2), 1/\sigma_n^2]\)。一个算子范数 \(\|\Delta\mathbf{K}\|_{\text{op}} < \sigma_n^2\) 的核扰动 \(\Delta\mathbf{K}\) 产生（由预解恒等式）
\[
\|\widehat{A}^{-1} - A^{-1}\|_{\text{op}} \leq \frac{\|\Delta\mathbf{K}\|_{\text{op}}}{\sigma_n^2 (\sigma_n^2 - \|\Delta\mathbf{K}\|_{\text{op}})}.
\]
核误差被放大了高达 \(1/\sigma_n^4\) 倍。KRR 预测器以 \(\lambda\) 代替 \(\sigma_n^2\) 继承了同样的放大，但分类准确率因符号平均而对误差不敏感；GP 的测试负对数似然则没有这种平均。

### Neyman 最小方差采样分配

对于任意可微损失 \(\mathcal{L}(\mathbf{K})\)，在无噪声核附近进行二阶泰勒展开得到
\[
\mathcal{L}(\widehat{\mathbf{K}}) - \mathcal{L}(\mathbf{K}) = \sum_{i \leq j} g_{ij} \Delta_{ij} + \frac{1}{2} \sum_{i \leq j, k \leq \ell} H_{ij,k\ell} \Delta_{ij} \Delta_{k\ell} + o(\|\Delta\|^2),
\]
其中 \(g_{ij} = \partial \mathcal{L} / \partial K_{ij}\)，\(H\) 是 Hessian 矩阵，\(\Delta_{ij} := \widehat{K}_{ij} - K_{ij}\) 是采样噪声。采样噪声均值为零，协方差对角度（不同对独立），因此取期望消去线性项得到
\[
\mathbb{E}[\mathcal{L}(\widehat{\mathbf{K}}) - \mathcal{L}(\mathbf{K})] = \frac{1}{2} \sum_{i \leq j} H_{ij,ij} \frac{K_{ij}(1-K_{ij})}{s_{ij}} + o(B^{-1}).
\]
用其 Fisher 信息替代量 \(H_{ij,ij} \approx g_{ij}^2\) 替换对角线 Hessian，并在预算约束 \(\sum s_{ij} = B\) 下通过拉格朗日乘子法最小化，得到 Neyman 最小方差分配：
\[
s_{ij}^* \propto |g_{ij}| \sqrt{K_{ij}(1-K_{ij})}, \quad \sum_{i \leq j} s_{ij}^* = B.
\]
这正是 Neyman 1934 年分层抽样规则在核条目粒度上的应用。分类 AQKA 框架使用该规则，其中 \(g_{ij}\) 取自 KRR 或 SVM 训练损失；Miroszewski (2026) 将其用于含噪声观测下的核化 SVM。我们的贡献从这些工作停止之处开始：我们将 \(g_{ij}\) 实例化为三种 GP 回归目标，其闭环形式涉及核逆矩阵。

## 方法：AQKA-GP

我们将 Neyman 规则应用于三个 GP 目标。每次推导都使用逆矩阵导数的同一恒等式：对于 \(A = \mathbf{K} + \sigma_n^2 I\)，
\[
\partial A^{-1} / \partial K_{ij} = -A^{-1} (e_i e_j^\top + e_j e_i^\top) A^{-1} \cdot \frac{1}{2}(1 + \delta_{ij}),
\]
其中 \(e_i\) 是第 \(i\) 个标准基向量，对称因子考虑了非对角/对角的区别。我们在敏感度中省略因子 \(\frac{1}{2}(1 + \delta_{ij})\)（对于非对角对它是相同的常数，会被吸收到预算中）。

### 三种闭环敏感度

#### (i) 预测耦合系数 \(|\alpha_i \alpha_j|\) 用于测试 RMSE。
均方测试误差为
\[
\mathcal{L}_{\text{rmse}} = \frac{1}{n_*} \sum_t (y_t