循环外多保真贝叶斯优化

# 循环外多保真贝叶斯优化
来源：https://arxiv.org/html/2608.04113
Gustavo Sutter1,2,†, Hao Wang3, Luis Ricardez\-Sandoval3,4, Pascal Poupart1,2, Agustinus Kristiadi2,5

###### 摘要

黑盒优化是科学与工程中的一个普遍问题，通常涉及代价高昂的目标函数，但存在更廉价的低保真度代理。多保真贝叶斯优化（MF-BO）是解决该问题的一种原理性方法，在查询目标时利用不同保真度之间的相关性。然而，对于许多重要的 MF-BO 任务，真实最高保真度函数的代价高得无法将其纳入优化循环。尽管如此，实践者通常拥有从先前实验中获得的金标准数据（最高保真度函数的观测值），这可能为当前任务提供信息。例如，在分子优化中，化学家通常使用各种计算机模拟选出前 $k$ 个候选分子，之后再揭示其*真实*目标函数值。在本工作中，我们证明了上述真实场景下标准 MF-BO 算法的次优性，即使在理想假设下也是如此。接下来，我们通过引入伴随任务描述符的历史高保真度数据——这些描述符可以显式给出，也可以从非结构化元数据中提取——来缓解这一问题。我们在合成函数以及化学和超参数优化中的真实问题上验证了所提方法的有效性。

††脚注文本：通讯作者：[email protected]

## 1 引言

见图注 图1：循环外多保真设置的示意图，强调循环内与循环外保真度之间的区别。(I) 在线贝叶斯优化循环主动查询较低保真度函数。(II) 离线阶段将最终的前 $k$ 个建议拿出循环，在最高保真度目标上进行观测。

化学（Griffiths and Hernández-Lobato 2020 (https://arxiv.org/html/2608.04113#bib.bib50); Greenaway et al. 2023 (https://arxiv.org/html/2608.04113#bib.bib14); Muthyala et al. 2025 (https://arxiv.org/html/2608.04113#bib.bib72)）、生物学（Romero et al. 2013 (https://arxiv.org/html/2608.04113#bib.bib23); Ruberg et al. 2023 (https://arxiv.org/html/2608.04113#bib.bib15); Martens et al. 2025 (https://arxiv.org/html/2608.04113#bib.bib64)）和工程（Ament et al. 2023 (https://arxiv.org/html/2608.04113#bib.bib52); Feurer et al. 2022 (https://arxiv.org/html/2608.04113#bib.bib16); Lam et al. 2018 (https://arxiv.org/html/2608.04113#bib.bib65)）中的大量问题都在优化黑盒函数。这类目标函数的输入域通常大得令人望而却步，且计算代价高昂。这就产生了对数据高效的黑盒优化算法的需求，这类算法能够通过尽可能少的查询次数找到最优输入点。贝叶斯优化（BO; Močkus 1975 (https://arxiv.org/html/2608.04113#bib.bib20); Garnett 2023 (https://arxiv.org/html/2608.04113#bib.bib18)）遵循贝叶斯决策理论的原则，是解决该问题的一种原理性方法。针对昂贵目标函数评估的一种解决方案是使用具有不同代价-保真度权衡的函数作为真实但代价高昂目标的代理。这种设置由多保真贝叶斯优化（MF-BO; Kennedy and O’Hagan 2000 (https://arxiv.org/html/2608.04113#bib.bib71); Huang et al. 2006 (https://arxiv.org/html/2608.04113#bib.bib73)）算法处理，这类算法在选择 BO 循环中下一个查询点时考虑代理与真实目标之间的代价和相关性。例如，可以使用数值模拟器或机器学习模型来代替湿实验（Guan et al. 2022 (https://arxiv.org/html/2608.04113#bib.bib74)）。然而，在许多应用中，最高保真度级别代价过高，实践者通常不会将其纳入 BO 循环。相反，在线探索期间可用的最高级别并非正在优化的确切金标准。通常，实践者在最佳可用保真度上运行优化，并在感兴趣的真实目标函数上评估所得的最大化点。值得注意的是，先前实验的结果会被保存以供未来参考和实验使用，未来的优化活动可以利用这些结果。例如，材料设计中的最高保真度是实验室中的物理实验，但 BO 通常以密度泛函理论（DFT; Argaman and Makov 2000 (https://arxiv.org/html/2608.04113#bib.bib63)）作为目标运行，较低的保真度对应较轻量的 DFT 配置和/或机器学习原子间势模型，如 UMA（Wood et al. 2025 (https://arxiv.org/html/2608.04113#bib.bib62)）。只有当 BO 算法完成后，其建议才被用于实验室实验，计算真实目标函数，并保存结果。

在本工作中，我们首先刻画了标准 MF-BO 在此设置下的次优性，即使假定已知保真度之间的真实相关性——而这在现实应用中通常是不可得的。这凸显了在最高保真度不可在循环内时额外信息的必要性。接下来，我们提出一种基于从先前优化任务迁移信息的解决方案，以解决次优性问题。我们通过多任务多保真核将过去实验结束时收集的离线数据信息纳入模型。重要的是，所提出的深度核能够利用任务特定特征，这些特征要么被显式给出，要么使用现代基础模型（Bommasani et al. 2021 (https://arxiv.org/html/2608.04113#bib.bib80)）从非结构化元数据中提取，从而利用现实应用中丰富的文本上下文。我们在合成基准以及化学和超参数调整的真实应用中验证了所提方法的有效性，证明了知识迁移在 OOL-MF-BO 设置中的重要性。

见图注 (a) 潜在过程 见图注 (b) 目标函数 见图注 (c) 目标分解
图2：在 LMC 核下循环外多保真优化缺陷的示意图，其中 $M=2$。(a) 从具有不同长度尺度的高斯过程中采样的三个潜在函数 $u_1,u_2,u_3$。(b) 较高和较低保真度函数，其中 $f^{(1)}=u_1+u_2$，$f^{(2)}=2\,u_1+u_2+u_3$。也就是说，过程 $u_3$ 存在于目标中但不在可观测保真度中。(c) 可观测分量 $\smash{f^{(2)}_{\|}}$ 与目标 $\smash{f^{(2)}}$ 不具有相同的最大化点，这是由 $\smash{f^{(2)}_{\perp}}$ 施加的偏移造成的。

本工作的贡献如下：

- •据我们所知，我们是首个形式化 OOL-MF-BO 问题的工作。
- •我们引入了理论结果，刻画了即使在保真度之间的真实相关性已知的情况下 OOL-MF-BO 的次优性。
- •我们提出了一种方法，利用历史实验数据和任务特定特征——从结构化元数据或基础模型中提取——来摆脱上述次优性，从而在多个基准中降低累积遗憾。
- •我们在标准合成函数以及真实化学和超参数优化基准上展示了 OOL-MF-BO 设置下的实证结果。

## 2 预备知识

设 $f:\mathcal{X}\rightarrow\mathbb{R}$ 表示空间 $\mathcal{X}\subset\mathbb{R}^d$ 上的未知目标函数。黑盒优化的目标是找到最优点 $\bm{x}_*\in\operatorname*{arg\,max}_{\bm{x}\in\mathcal{X}}f(\bm{x})$，同时假设 $f$ 的计算代价高昂，且输入域无法被穷举探索。目标函数通过含噪观测 $y=f(\bm{x})+\epsilon$ 访问，其中 $\epsilon\sim\mathcal{N}(0,\sigma_n^2)$，并存储在观测数据集 $\mathcal{D}_t=\smash{\{(\bm{x}_i,y_i)\}_{i=1}^t}$ 中。

### 贝叶斯优化

贝叶斯优化（Močkus 1975 (https://arxiv.org/html/2608.04113#bib.bib20); Garnett 2023 (https://arxiv.org/html/2608.04113#bib.bib18)）基于两个主要组件为黑盒优化问题提供了原理性解决方案：代理模型 $p(f|\mathcal{D}_t)$ 和采集函数 $\alpha(\bm{x};\mathcal{D}_t)$。代理模型表示当前对未知目标函数的后验信念，采集函数利用该后验信念评估候选输入位置，并根据 $\bm{x}_{t+1}=\operatorname*{arg\,max}_{\mathcal{X}}\alpha(\bm{x};\mathcal{D}_t)$ 选择下一个查询点。优化循环在达到预定义的迭代次数 $T$ 时终止。随后，算法返回其最终选择 $\hat{\bm{x}}_T=\operatorname*{arg\,max}_{\bm{x}_i\in\mathcal{D}_T}y_i$，即观测到的目标值最高的点。

#### 多保真贝叶斯优化

贝叶斯优化框架的多保真扩展假设我们可以访问多个函数 $\smash{\{f^{(m)}:\mathcal{X}\to\mathbb{R}\}_{m=1}^M}$，其中最高保真度函数 $f^{(M)}$ 是要最大化的目标，即我们的目标是找到 $\bm{x}_*\in\operatorname*{arg\,max}_{\bm{x}\in\mathcal{X}}f^{(M)}(\bm{x})$。观测数据集是三元组 $(\bm{x}_i,y_i,m_i)$ 的集合，其中 $m_i\in\{1,\dots,M\}$ 表示第 $i$ 步查询的保真度。对于每个保真度，有一个相关的查询代价 $c^{(m)}\geq 0$（假设与 $\bm{x}$ 无关）。在多保真框架下，采集函数为 $\alpha(\bm{x},m;\mathcal{D}_t)$，其也将保真度作为输入。算法运行直到优化预算 $\Lambda$ 耗尽。与单保真情形类似，算法在终止时会给出最终建议。通常，这是通过从最高保真度的已观测点中选取目标值最高的点来实现的，即 $\hat{\bm{x}}_T=\operatorname*{arg\,max}_{\bm{x}_i\in\mathcal{D}_{T,m}}y_i$，其中 $\mathcal{D}_{T,m}=\{(\bm{x}_i,y_i,m_i):m_i=M\}$。另一种选择是建议 $\hat{\bm{x}}_T=\operatorname*{arg\,max}_{\bm{x}\in\mathcal{X}}\mathbb{E}[f^{(M)}(\bm{x})|\mathcal{D}_T]$，从而允许选择在最高保真度级别上未被观测或完全未被观测的点。

### 高斯过程

高斯过程（GPs; Rasmussen and Williams 2006 (https://arxiv.org/html/2608.04113#bib.bib19)）是 BO 中代理建模的标准选择。它们由均值函数 $\mu:\mathcal{X}\to\mathbb{R}$ 和协方差核 $k:\mathcal{X}\times\mathcal{X}\to\mathbb{R}$ 指定，在函数上定义了一个分布。给定包含输入和含噪观测的数据集 $\mathcal{D}_t$，先验 $f\sim\mathcal{GP}(\mu,k)$ 会在未观测函数值和观测数据 $\mathcal{D}_t$ 上诱导出一个多元高斯分布。基于数据条件化得到高斯过程后验，其在测试点 $\bm{x}$ 处的预测分布是高斯分布，具有闭式均值 $\mu_t(\bm{x})$ 和方差 $\sigma_t(\bm{x})$。

#### 向量值高斯过程

当处理向量值函数 $f:\mathcal{X}\to\mathbb{R}^M$ 时，仍可使用 GPs。在此设置下，假设 $f(x)=(f_1(x),\dots,f_M(x))^\top$ 遵循向量值高斯过程（Álvarez et al. 2012 (https://arxiv.org/html/2608.04113#bib.bib66)），完全由均值函数 $\bm{\mu}:\mathcal{X}\to\mathbb{R}^M$ 和矩阵值核 $\mathbf{K}:\mathcal{X}\times\mathcal{X}\to\mathbb{R}^{M\times M}$ 刻画。矩阵 $\mathbf{K}(\bm{x},\bm{x}')$ 中的条目 $(\mathbf{K}(\bm{x},\bm{x}'))_{m,m'}$ 对应 $f^{(m)}(\bm{x})$ 与 $f^{(m')}(\bm{x}')$ 之间的协方差。一个流行的选择是协同区域化线性模型（LMC; Journel and Huijbregts 1978 (https://arxiv.org/html/2608.04113#bib.bib82); Goovaerts 1997 (https://arxiv.org/html/2608.04113#bib.bib81)）：

\[
[\mathbf{K}(\bm{x},\bm{x}')]_{m,m'}=\sum_{q=1}^Q{\bm{B}}^{(q)}_{m,m'}k_q(\bm{x},\bm{x}'),
\]
(1)

其中 ${\bm{B}}^{(q)}\in\mathbb{R}^{M\times M}$ 是正定协同区域化矩阵，$k_q$ 是 $q\in\{1,\dots,Q\}$ 的核。这对应将每个输出建模为潜在过程的线性组合：$f^{(m)}(\bm{x})=\sum_{q=1}^Q a_q^{(m)}u_q(\bm{x})$，其中 $u_q\sim\mathcal{GP}(0,k_q)$ 是独立同分布的潜在过程。当所有潜在过程具有相同的核时，所得模型称为内禀协同区域化模型（ICM; Goovaerts 1997 (https://arxiv.org/html/2608.04113#bib.bib81)），其协方差为：

\[
[\mathbf{K}(\bm{x},\bm{x}')]_{m,m'}={\bm{B}}_{m,m'}k(\bm{x},\bm{x}'),
\]
(2)

另一个流行的核，即 Poloczek 等人 (2017 (https://arxiv.org/html/2608.04113#bib.bib83)) 提出的多信息源（MISO）模型，可以通过取 $Q=M$ 并设置 $f^{(M)}=u_1$ 以及 $f^{(m)}=u_1+u_{m+1}$（对 $m=1,\dots,M-1$）写成 LMC 形式。注意，这要求每个过程有不同的核，因此属于 LMC 族而非 ICM。

## 3 循环外保真度的缺陷

见图注 图3：针对 OOL-MF-BO 设置所提出的解决方案，基于观测到最高保真度的历史任务数据。代理模型可以访问历史任务数据集，以及当前任务可用保真度收集到的数据。

我们首先刻画当 BO 循环中只能访问较低保真度时会发生什么。如前所述，在许多复杂的科学应用中，真实目标函数在计算和财务上都过于昂贵，无法在循环内访问。考虑一个多保真优化问题，其中存在 $M$ 个保真度，其函数为 $f^{(1)},\dots,f^{(M)}$，且 $f^{(M)}$ 是感兴趣的真实目标。在标准的 MF-BO 中，学习者可以在每个决策步骤查询任何保真度 $m\in\{1,\dots,M\}$。然而，在循环外（OOL）设置中，最高保真度 $M$ 在收集在线数据时不可用。相反，只有在整个优化循环结束后，才可以在最高保真度上评估最终建议的点。具体而言，假设学习者在每个步骤只能查询 $m\in\{1,\dots,M-1\}$。在预算耗尽后，学习者返回一个候选集（例如，最终建议或一组 top-$k$ 点），然后在真实目标 $f^{(M)}$ 上进行评估。这种设置引发了一个关键问题：由较低保真度组成的优化信号可能与真实目标不一致，即使它们高度相关。尤其，当较低保真度函数与最高保真度函数之间的差异不是常数或线性时，仅基于较低保真度的 BO 可能会收敛到 $f^{(M)}$ 的非最优区域。我们将在下面具体说明这一点，并证明这在通常的 MF-BO 方法下会导致次优累积遗憾，即使在理想的模型假设下也是如此。然后，我们提出一种解决方案，利用来自历史任务的高保真度数据来缓解此问题。

### 3.1 LMC 下的次优性表征

我们从一个假设开始，即各保真度函数之间存在线性模型 of coregionalization（LMC）关系。正式地，假设对于所有 $m$，$f^{(m)}(\bm{x})=\sum_{q=1}^Q a_q^{(m)}u_q(\bm{x})$，其中 $u_q$ 是独立零均值 GP。为简化说明，考虑 $M=2$，$Q=3$，且特征为 $u_1,u_2,u_3$。设目标为 $f^{(2)}=u_1+u_2