最大鲁棒满意贝叶斯优化

# 最大鲁棒满意度贝叶斯优化 来源：https://arxiv.org/html/2607.13652 Petrus Mikkola计算机科学系 赫尔辛基大学 芬兰Antti NiskanenASM International N.V.Arto Klami计算机科学系 赫尔辛基大学 芬兰 ###### 摘要 许多设计任务可转化为黑箱函数优化，进而利用贝叶斯优化以最少的试验次数找到理想设计。然而，我们通常并不需要最优解，而是一个足够好的解即可，例如一种材料在其预期用途中足够耐用。在大多数情况下，存在多个满意的解，构成函数的超水平集，这就引出了一个关键问题：应该优先选择哪一个？我们通过解释为何对部署时可能发生的输入扰动的鲁棒性是一个良好的判据来回答这个问题，并介绍一种贝叶斯优化方法，该方法能够高效地找到对最大扰动具有鲁棒性的满意度解。与以往工作不同，我们假设在优化过程中可以精确控制输入，但在部署后输入将受到扰动。 ## 1 引言 贝叶斯优化（BO）是一种用于优化昂贵黑箱函数的样本高效框架，应用于超参数调优、材料发现、化学合成和机器人控制等多个领域。对于寻找全局最优解的标准问题，已有非常成熟的工具。然而，对于许多评估成本极高的设计任务（例如涉及新材料的生产和测试），即使采用样本高效的搜索，在实践中可能仍然很困难。不过，我们通常并不需要全局最优解，而是一个满足给定最低质量要求的足够好的解即可。例如，分包商可能被要求生产一个达到特定耐久性水平的部件，这降低了问题的难度。我们称这样的解为“满意度”解，沿用赫伯特·西蒙引入的术语，并随后在运筹学和决策中应用。所有满意度解的集合构成了函数的超水平集。原则上，超水平集内的任何解都可行，但在非理想条件下它们并不相同。直观上，人们会远离接近阈值的解，并偏好具有更高值的解，但我们需要一个更正式的标准。我们认为对输入噪声或变化的鲁棒性是一个好的判据：一个解是好，当且仅当被扰动时仍然保持满意。 见图注 图1：(a) 最大鲁棒满意度解（红色）是一个可以在保持处于阈值定义的超水平集（蓝色）内的情况下被最大程度修改的点。注意全局最大值（黑色十字）可能在任意远处。(b) 我们的MRSBO方法大幅优于针对我们的设置调整的最佳先前方法（AdveRS2）；它也优化鲁棒半径，但假设优化期间已经存在输入扰动。(c-d) 优化后期阶段两种方法的采集函数。MRSBO探索水平集中对鲁棒半径有信息量的部分，而AdveRS2浪费评估来学习超水平集内的目标。 我们的动机来自那些在设计（优化）阶段可以精确控制输入，但在部署后不可靠的应用。一个具体例子是蛋糕配方，由专业人员设计，他们精确测量配料并使用一致的厨房设备。当普通人按照配方烘焙蛋糕时，他们不会精确测量汤匙，烤箱也不能完美保持温度。最终重要的是他们蛋糕的味道，因此对这种偏差具有鲁棒性的配方才是更好的配方。同样的原则在许多科学应用中可见：手动程序和湿度等环境因素给实验室化学带来变异性；仿真到现实迁移是一个专注于如何使用清洁仿真环境训练可靠现实世界模型的子领域；在设计和制造中，制造公差约束了设计的可实现性。通常在无噪声输入下最优的解在扰动下可能表现不佳甚至导致不安全行为。 为解决这一需求，我们引入一个新问题：给定一个决定函数最小可接受值的阈值，找到一个对“最大”输入偏差具有鲁棒性的解。在优化过程中，我们假设可以对任意评估，但解最终部署在输入被未知噪声扰动的环境中。即，我们观察到而不是。任务如图1所示，同时展示了我们的方法如何通过最大化关于最大鲁棒半径的信息增益，主要围绕水平集的选定部分评估函数，而不是浪费评估来精确学习超水平集内的函数，从而高效地解决问题。 虽然我们的问题设置是新的，但它与“鲁棒贝叶斯优化”（RBO）的概念密切相关，后者泛指寻找在输入扰动下仍然有效的解的优化方法。先前的RBO方法大致可分为两类。“期望鲁棒性”在已知扰动分布下优化期望性能，而“分布鲁棒优化”还考虑了扰动分布的不确定性。这些方法确保期望性能良好，但对于任意解是否满足没有保证。“最坏情况鲁棒性”更接近我们的设置，寻找在最不利扰动下性能最优的解，即。该家族中的大多数方法，如bogunovic2018adversarially提出的StableOpt，直接优化最坏情况性能，但最近saday2025robust将最坏情况鲁棒性与满意度解联系起来。他们还最大化在确保解保持在阈值以上时可以允许的扰动幅度。然而，学习设置有一个根本区别：与其他最坏情况鲁棒性方法类似，saday2025robust假设优化已经在对抗环境中进行。这与我们的设置形成鲜明对比，我们的设置中优化时输入是干净的。他们的方法可以通过在优化过程中人为诱导扰动来解决我们的问题，但这需要假设一个最大扰动水平。图1显示了这种方法在实践中即使提供关于最大扰动的先验信息也会失败，表现为收敛性显著变差、最终遗憾值差以及浪费评估。 贡献。我们的主要贡献是：(1) 我们形式化了最大鲁棒满意度贝叶斯优化问题设置，用于学习在最大输入扰动下仍保持足够好的解。(2) 我们提供了实用的MRSBO算法来解决该问题，该算法基于关于最大鲁棒解的信息增益，并具有高效的采集函数构造。(3) 我们证明MRSBO在各种合成和真实世界鲁棒优化问题上大大优于鲁棒和非鲁棒替代方法。 ## 2 背景 ### 2.1 贝叶斯优化框架 标准形式的贝叶斯优化是一种全局优化方法，用于求解，其中是维设计空间，是未知且评估昂贵的函数。为了优化该函数，我们只能评估输入以产生评估。BO算法学习一个廉价的代理模型，通常是高斯过程，该模型近似真实函数，并通过最大化采集函数选择下一个评估点，以确定对优化过程最有益的评估。 代理模型近似真实目标函数。高斯过程（GP）是最常用的代理模型，提供了由均值函数和协方差（核）函数描述的函数值分布。给定观测数据，测试点处的后验预测分布是高斯分布，均值为，方差为，其中，，是训练输入的核矩阵，，表示观测噪声方差。 采集函数对评估输入点的价值进行评分。在每个贝叶斯优化迭代中，下一个查询点通过选择。流行的单目标采集函数包括上置信界（UCB）、期望改进（EI）和最大值熵搜索（MES）。 ## 3 问题定义 我们考虑这样的设计任务：在受控环境下确定解，但在设计完成后，它被部署在环境中，其中每个输入可能经历未知扰动，其幅度受未知鲁棒半径限制。对于任何，可接受的扰动收集在中。这立即给出了最终的学习任务，它同时提供最优解和相应的鲁棒半径为 我们的目标与saday2025robust最近提出的目标相同，但“学习设置”不同。我们假设优化过程中进行精确评估，这与动机示例案例一致，而他们假设输入在优化过程中也受到扰动（并且被扰动的输入可以被观察到用于学习代理，但这可能不切实际）。 ## 4 方法 本节介绍用于解决上述问题的MRSBO方法，总结于算法1。它遵循标准的贝叶斯优化协议：每次迭代时，采样候选最大化点（第3行），优化采集函数选择下一个评估点（第4行）。用新观测更新代理，直到用完评估预算。我们在此设计一个信息论采集函数，并解释如何高效计算它。采集最大化步骤可以使用标准的基于梯度的优化方法执行，例如wilson2018maximizing所讨论的；我们将此标准过程的描述留在附录B.1中。 **输入**：设计空间，GP先验，采集函数，预算 **输出**：推荐点 1 初始化数据 2 **for** *t=1,...,T* **do** 3 \{\(x^{*, (s)}\), \(r^{*, (s)}\)\}_{s=1}^n ← SampleContinuous 4 5 6 7 **end for** 算法1：最大鲁棒满意度贝叶斯优化（MRSBO） ### 4.1 关于的信息增益 我们提出一种采集策略，最大化关于最大鲁棒半径及其对应的鲁棒最大化点的信息增益。遵循对称互信息公式，这种方法避免了直接计算最大化器和鲁棒半径的熵，而这两个量甚至难以采样。形式上，候选点的采集函数为 式(5)的第一项是高斯随机变量的熵，具有解析形式，其中表示处的后验预测方差。式(5)第二项中的期望关于鲁棒最大化器和鲁棒半径的联合后验分布取，并使用蒙特卡洛采样估计。我们接下来讨论条件熵的近似，首先考虑无噪声情况以传达核心思想，尽管实践中我们总是假设有噪声观测。 #### 无噪声条件熵。 在没有观测