GRAPE：用于查询高效的高维贝叶斯优化的梯度优化与进展感知利用

# GRAPE：梯度优化与进度感知利用的查询高效高维贝叶斯优化
来源：https://arxiv.org/html/2608.25116
Richard Cornelius Suwandi  
隶属机构：人工智能学院  
隶属机构：香港中文大学（深圳）  
隶属机构：中国，深圳  
电子邮箱：[richardsuwandi@link\.cuhk\.edu\.cn](mailto:)  

Feng Yin  
††脚注：通讯作者\。  
隶属机构：人工智能学院  
隶属机构：香港中文大学（深圳）  
隶属机构：中国，深圳  
电子邮箱：[yinfeng@cuhk\.edu\.cn](mailto:)

###### 摘要
优化昂贵的、高维黑箱函数仍然是现代机器学习和科学发现的核心挑战。虽然局部贝叶斯优化缓解了维度灾难，但现有技术往往优先考虑下降概率而非进展幅度。这导致步幅过于保守，产生的改进微乎其微，将查询浪费在那些几乎确定会下降但提供很少降幅的方向上。我们引入了梯度优化与进度感知利用（GRAPE），这是一个两阶段框架：首先通过一个闭式采集函数锐化局部梯度后验，然后通过最大化条件下降的预期降幅来选择更新方向。理论分析证明，该梯度优化阶段单调地最小化了局部不确定性，并且进度感知方向随着后验的锐化而收敛到真正的最陡下降方向。实证表明，GRAPE 在高维任务中展现出卓越的查询效率：在黑箱对抗攻击中，它实现了平均 5.4 倍的速度提升；在大语言模型提示优化任务中，它在最终平均悔差上比第二佳方法减少了 3.8 个对数单位。

††脚注文本：预印本。评审中。  
*关键词* 贝叶斯优化⋅\cdot高斯过程⋅\cdothigh\-dimensional black\-box optimization⋅\cdot梯度感知优化⋅\cdotsample efficiency

## 1引言
贝叶斯优化（BO）是一种样本高效框架，用于优化那些梯度不可用且评估可能带有噪声的昂贵黑箱目标函数（Shahriari et al., 2016; Frazier, 2018; Garnett, 2023）。它维护目标的概率代理模型，通常使用高斯过程（GP），并通过最大化一个平衡探索与利用的采集函数来选择后续查询点（Jones et al., 1998; Močkus, 1978）。这种设计使得BO在每次评估成本高昂时特别有吸引力，因为更少的查询直接转化为降低的实验或计算开销。因此，BO已被广泛应用于超参数调优（Snoek et al., 2012; Arango et al., 2021）、神经架构搜索（White et al., 2021）、安全控制器配置（Berkenkamp et al., 2016）、化学反应与材料设计（Shields et al., 2021; Wang and Dowling, 2022）、黑箱对抗攻击（Ru et al., 2020; Shu et al., 2023）以及最近的大语言模型提示优化（Zhou et al., 2023; Chew et al., 2026）等诸多领域。在所有这些设置中，底层目标的评估代价都很高，无论是因为需要训练神经网络、运行物理实验，还是查询大语言模型，这使得查询效率成为主要的性能指标。

尽管具有这种样本效率，标准BO在输入维度增长时性能常常下降。有限的评估预算使得大部分区域未被探索，代理模型在大范围内变得不确定，并且优化全局采集函数变得越来越困难（Doumont et al., 2026）。根本问题在于搜索空间的体积随维度呈指数增长，因此固定的评估预算只能覆盖定义域中极小的一部分。

为了解决这些挑战，近期研究表明，通过适当地选择GP核函数及其超参数，标准BO在某些高维问题中可以具有惊人的竞争力（Hvarfner et al., 2024; Xu et al., 2025; Suwandi et al., 2025），尽管这种行为对问题结构和GP超参数初始化很敏感（Papenmeier et al., 2025）。

现有的高维BO方法通常通过假设低维结构或将搜索限制在局部区域来解决此问题。然而，当目标函数不甚明了时，结构假设常常失效；而局部策略则以全局保证换取在有希望的评估点附近进行样本高效改进的机会。梯度感知的局部BO提供了一种特别直接的局部策略，它利用了高斯过程（GP）的一个关键性质：对目标的自然信念诱导出对其梯度的联合高斯信念（Rasmussen and Williams, 2006）。因此，即使没有显式的梯度观测，函数值评估也可以用来精炼梯度的后验分布。这在高维中尤其有价值，因为探索整个输入空间的成本过高，但局部梯度信息可以指导高效的下降。例如，GIBO（Müller et al., 2021）首先减少梯度不确定性，然后沿负后验均值梯度移动；而MPD（Nguyen et al., 2022）选择具有最高后验下降概率的方向。相比之下，MinUCB（Fan et al., 2024）利用了局部置信上界。这些方法在利用后验信息指导局部步骤的方式上有所不同，但都共享一个洞见：在移动之前精炼梯度信念，比全局探索能产生更有效的查询。

在本工作中，我们重新审视了下降概率的概念。虽然下降概率量化了某个方向下降的确定性，但它并未捕捉到当下降发生时改进的幅度。一个方向可能几乎确定下降，但只带来微不足道的进展；而另一个不那么确定的方向，一旦成功，却可能带来大得多的改进。因此，仅仅最大化下降概率倾向于选择安全但可能无生产力的方向，并可能忽略那些能带来更显著进展的机会。

我们用梯度优化与进度感知利用（GRAPE）来解决这个局限性。我们的主要贡献如下：
- •我们提出了一个两阶段的局部BO框架，首先通过一个闭式采集函数锐化局部梯度后验，然后通过最大化条件下降的预期降幅来选择更新方向。
- •我们证明了梯度优化单调地最小化了局部不确定性，并且进度感知方向随着后验的锐化而收敛到真正的最陡下降方向。
- •实证表明，GRAPE在黑箱对抗攻击中实现了平均5.4倍的速度提升，并在LLM提示优化任务中以3.8个对数单位的优势超过了第二佳方法。

## 2相关工作
### 2.1高维贝叶斯优化
高维BO方法通常通过结构假设或局部建模来降低有效的搜索复杂度。随机嵌入方法在假设目标具有低内在维度的前提下，在低维子空间中进行优化（Wang et al., 2016）。稀疏轴对齐模型则学习一组有影响力的坐标（Eriksson and Jankowiak, 2021）。当它们的结构假设与目标匹配时，这些方法可能有效，但当活跃结构未知或被错误指定时，其性能可能会下降。局部建模提供了一种不需要显式低维结构的替代方案。TuRBO（Eriksson et al., 2019）在自适应信任域内拟合GP，成功步骤后扩张，失败后收缩，将评估集中在有希望的点附近，同时使用重启来逃离糟糕的盆地。

这种局部重点与接下来讨论的梯度感知方法共享，这些方法用GP导数后验的指导取代了信任域的成功或失败规则。最近的工作也重新审视了高维中的标准或“普通”BO。Hvarfner et al. (2024) 将GP长度尺度的对数正态先验随维度缩放，并得到了一个强大的全局D-LogEI基线。Xu et al. (2025) 表明，对于平方指数核，较差的长度尺度初始化可能导致训练梯度消失，而Matérn核或维度感知初始化可以在某些情况下避免这种失败。最近，Suwandi et al. (2025) 通过CAKE超越了固定的核选择，该方法利用LLM从观测数据中进化GP核结构，并根据模型拟合和采集效用对候选方案进行排序。

### 2.2梯度感知的局部贝叶斯优化
与我们工作更密切相关的是梯度感知的局部方法，它们交替进行关于梯度的学习和利用该信息更新当前点。GIBO（Müller et al., 2021）在沿负后验均值梯度移动之前最小化后验梯度不确定性。MPD（Nguyen et al., 2022）指出后验均值梯度不一定能最大化下降概率，并推导出最可能的下降方向。MinUCB（Fan et al., 2024）用局部置信上界的最小化取代了梯度步。NeST-BO（Tang et al., 2026）从GP联合预测梯度和Hessian矩阵，并选择能降低修改牛顿步中不确定性的评估点。这种曲率信息可以在病态区域改善局部缩放和收敛，但学习一个d×d的Hessian矩阵引入了二次导数复杂度。

梯度感知局部方法在平滑核假设下的收敛行为也已被研究（Wu et al., 2023）。GRAPE修改了利用标准，而不是增加导数阶数或优化置信界。其进度感知标准根据条件下降的预期降幅对方向进行排序，而梯度优化则贪婪地减少该标准所用梯度的不确定性。该方法仅需要函数评估和一阶GP导数，使其适用于二阶信息恢复成本过高或目标函数不够平滑导致基于Hessian的方法不可靠的场景。

### 2.3全局-局部混合与概率数值
局部优化也可以嵌入到全局优化策略中。例如，BLOSSOM在BO采集函数和传统局部优化之间切换（McLeod et al., 2018），而TREGO则交替进行全局BO步和信任域步（Diouane et al., 2023）。梯度感知优化器如GRAPE可以在需要全局覆盖时作为类似混合方法的局部组件。

更广泛地说，我们的方法采用了概率数值的观点，即数值计算可以被表述为推断（Hennig et al., 2022）。不可用的梯度被视为一个从函数评估中推断的潜变量，后验不确定性直接决定了收集哪些信息以及如何移动。这一观点将GRAPE的探索和利用阶段统一在一个贝叶斯框架下，其中精炼查询的选择和下降方向的选择都由同一个后验分布支配。

## 3预备知识
### 3.1问题设定
令f:X→R是一个在紧致域X⊂R^d上的连续黑箱函数。给定一个起始点x_0，我们的目标是在x_0的局部邻域X(x_0)⊆X中最小化f：
x^* = argmin_{x ∈ X(x_0)} f(x)。(1)
我们可以选择位置查询目标函数并观察y = f(x) + ε，其中ε ∼ N(0, σ^2)，(2)
这里σ^2 ≥ 0是观测噪声方差。在此，f的梯度不可用，并且每次函数评估被假定是昂贵的。因此，一个有效的黑箱优化器必须同时决定在哪里查询信息以及如何使用该信息从当前点移动。局部优化通过用在当前迭代点附近有针对性的学习替代对X的广泛覆盖，使得这个问题在高维中更易于处理。

### 3.2使用高斯过程的贝叶斯优化
贝叶斯优化（BO）通过维护未知目标的概率模型，并使用该模型选择信息丰富的评估点来解决昂贵的黑箱优化问题（Garnett, 2023）。具体来说，我们在f上放置一个高斯过程（GP）先验f ∼ GP(μ, k)，其中μ是均值函数，k是核（协方差）函数。对于任何有限输入集，相应的函数值是联合高斯分布的（Rasmussen and Williams, 2006），这使得我们在观察到数据D = (X, y)后可以计算解析后验。定义K = k(X, X) + σ^2I。这里，k(x, X)是x与训练输入X之间协方差的行向量，k(X, x')是相应的列向量。后验均值和协方差由下式给出：
μ_D(x) = μ(x) + k(x, X) K^{-1} (y - μ(X))，(3)
Σ_D(x, x') = k(x, x') - k(x, X) K^{-1} k(X, x')。(4)