贝叶斯优化：通过LLMs利用丰富的辅助信息

# 通过LLM利用丰富辅助信息的贝叶斯优化
来源：https://arxiv.org/html/2609.19437

作者：Efe Mert Karagözlü, Rohit Sonker  
指导：Barnabás Póczos, Jeff Schneider  
单位：计算机科学学院  
单位：卡内基梅隆大学  
单位：宾夕法尼亚州匹兹堡，邮编15213

###### 摘要
贝叶斯优化（BO）广泛用于优化昂贵的黑箱函数，但许多现实世界的优化问题包含比仅函数评估丰富得多的信息。例如超参数优化中的训练曲线、科学实验中的专家笔记和图像，以及关于最优点可能位置的先验知识。我们表明，大型语言模型（LLM）可以有效利用此类丰富的辅助信息来指导优化。基于这些发现，我们开发了三种利用LLM将辅助信息纳入BO的方法。在超参数优化基准测试和真实的核聚变优化任务中，我们的方法一致优于标准BO和现有的基于LLM的优化方法。我们的结果证明了LLM在BO中利用丰富辅助信息的有效性。

## 1 引言
贝叶斯优化（BO）是优化昂贵黑箱函数的强大框架，已成功应用于众多现实世界任务，包括超参数优化[20]、分子设计[10]、核聚变[3]和机器人技术[1]。然而，在许多实际场景中，优化过程伴随着比单纯目标评估丰富得多的信息。超参数优化产生完整的训练曲线和日志；科学设计任务揭示多种物理或化学属性；工程系统暴露诊断信息和中间信号；许多领域通过科学文献、文档或从业者启发法包含大量先验和专家知识。此类信息通常是异构的、高维的且非结构化的，难以融入经典BO流程。大型语言模型（LLM）提供了利用此类信息的自然接口。与传统代理模型不同，LLM可以处理文本描述、诊断信息、日志和互联网规模的先验知识，使其特别适合涉及异构输入的优化场景。近期工作如LLAMBO[12]探索了通过代理建模、候选生成和热启动将LLM纳入BO流程。然而，这些方法仍未充分利用现实优化任务中更广泛的辅助信息。

在本研究中，我们为BO研究了两种互补形式的*丰富辅助信息*。第一种是*丰富的先验知识*，包括关于搜索空间或底层目标函数的有前景区域的信念，这些信息来源于专家直觉、科学文献或互联网规模的预训练。第二种是*辅助观察*，记作 \(y_{\text{aux}}\)，它们在优化过程中产生，但超出了BO方法通常假设的标准 \((\mathbf{x}, y)\) 交互形式。我们表明，LLM可以有效利用这两种信息来指导优化。我们首先研究如何从LLM中提取有用的先验。在超参数优化任务中，我们比较了几种方法，包括直接数值预测、序数预测和显式预测优化器位置。我们发现，当LLM用于建模有前景输入上的分布或目标函数的序数分析，而非直接作为代理模型预测目标值时，其效果显著提升。基于这一观察，我们提出了两种算法：一种将经典GP推断与来自LLM的丰富目标函数先验相结合；另一种将BO采集函数与LLM提供的关于有前景区域的分布相结合，采用专家乘积框架。我们还进一步表明，用辅助观察 \(y_{\text{aux}}\) 增强优化历史能持续提升跨任务和基线方法的优化性能。在HPOBench[4]和真实核聚变优化任务上的评估表明，采用辅助观察增强的方法优于其标准BO和现有基于LLM的优化方法。

##### 贡献。我们研究了丰富辅助信息的两种来源。
- • 我们引入了两种将LLM先验知识纳入BO的方法：建模目标函数上的先验，以及建模最大值点 \(\mathbf{x}^* = \arg\max_{\mathbf{x}} f(\mathbf{x})\) 上的分布，并通过实证比较了它们在利用LLM进行BO方面的有效性。
- • 我们表明，利用超出标准 \((\mathbf{x}, y)\) BO形式的辅助观察，可跨任务和方法提升优化性能。

## 2 相关工作
##### 贝叶斯优化中的先验知识。长期以来，许多研究致力于将先验知识纳入贝叶斯优化（BO）。经典BO通常通过代理模型编码先验假设，例如通过GP均值、核函数或超参数。然而，这种先验对从业者而言通常间接且不直观，可能导致性能下降的错配[15]。在许多情况下，表达关于良好解可能位置的信念可能更容易。BOPrO[17]和 \(\pi\)BO[6]通过允许用户指定最优点的先验分布来解决这个问题，然后将其与标准BO机制结合。最近，LeonArDBO[8]主张直接更新最大值点上的分布，而非维护潜在函数的完整代理模型，并通过从LLM提取最大值点信念在真实任务上展示了改进。我们的工作延续了这一最大值点感知优化的路线，同时进一步利用优化过程中产生的丰富辅助观察来推断此类先验。
##### 用于贝叶斯优化的大型语言模型。近期工作探索了在BO循环中使用LLM。LLAMBO[12]将BO用自然语言表述，并使用LLM进行热启动、代理建模和候选生成。然而，我们表明，直接将LLM用作代理模型可能导致性能低于替代方法。LLINBO[2]提出了一种混合LLM在环的BO框架，将LLM推理与统计代理专家相结合，旨在保留经典BO在理论保证下的可靠性。最近，一些研究质疑LLM作为独立优化器在下游任务（如核聚变、超参数优化和模拟电路设计）[5, 21, 22, 13]中的有效性，发现其数值预测通常不可靠、校准不佳或严重依赖特定领域的微调。其他工作则提出专门为优化任务微调LLM[11, 14]。我们的发现与这一观点一致。我们发现，与直接预测目标值相比，当LLM用于建模有前景输入上的分布或最大值点位置时，其效果显著提升。此外，与先前工作不同，我们专注于利用标准BO方法通常丢弃的丰富辅助观察。
##### 利用辅助信息的贝叶斯优化。几种BO方法利用了受限形式的附加信息。Freeze-thaw BO[19]在超参数优化中使用部分学习曲线来决定是否暂停、恢复或开始训练运行。FABOLAS[9]将验证损失和训练时间建模为数据集大小的函数以加速HPO。其他工作考虑特定的辅助信号，如二元辅助信息[23]、用于迁移BO的任务级辅助信息[7]，或用于托卡马克中血浆稳定的多时间尺度动态模型[16]。这些方法证明了辅助信息的价值，但通常需要针对问题的建模假设和专门的代理构建，如多目标GP。相反，我们的目标是融合异构的辅助观察，包括日志、曲线、诊断信息和次级属性，而无需为每种观察类型手工设计概率模型。

## 3 背景
##### 贝叶斯优化。我们考虑优化昂贵黑箱函数的问题：\(\max_{\mathbf{x} \in \mathcal{X}} f(\mathbf{x})\)，(1)
其中 \(\mathcal{X} \subset \mathbb{R}^d\) 是搜索空间，\(f\) 未知且评估代价高昂。目标是以尽可能少的评估次数识别出最大值点 \(\mathbf{x}^* = \arg\max_{\mathbf{x} \in \mathcal{X}} f(\mathbf{x})\)。(2)
贝叶斯优化（BO）维护 \(f\) 的概率代理模型，通常是一个由均值函数 \(\mu(\mathbf{x})\) 和核函数 \(k(\mathbf{x}, \mathbf{x}')\) 指定的高斯过程（GP）。给定过去评估的数据集 \(\mathcal{D}_t = \{(\mathbf{x}_i, y_i)\}_{i=1}^t, \quad y_i = f(\mathbf{x}_i) + \epsilon_i\)，(3)
GP 给出 \(f\) 的后验，从中构建采集函数 \(\alpha(\mathbf{x}; \mathcal{D}_t)\) 以平衡探索和利用。下一个评估点选为 \(\mathbf{x}_{t+1} = \arg\max_{\mathbf{x} \in \mathcal{X}} \alpha(\mathbf{x}; \mathcal{D}_t)\)。(4)
##### 函数先验。GP 通过其均值函数 \(\mu(\mathbf{x})\) 和核函数 \(k(\mathbf{x}, \mathbf{x}')\) 编码关于 \(f\) 的先验信念。在缺乏领域知识的情况下，BO 通常默认使用常数或零均值，\(\mu(\mathbf{x}) = 0\)，这意味着对函数值没有先验偏好。当有关于 \(f\) 的信息性信念可用时，例如来自相关任务、科学理论或从业者直觉，用知情均值函数替换零均值可以显著提高样本效率[15]。我们称此类信念为*函数先验*。
##### 最大值点先验。一种互补形式的先验知识关注最优点的位置而非函数值：最大值点 \(\mathbf{x}^*\) 上的分布 \(\pi(\mathbf{x})\)。我们称此类信念为*最大值点先验*。最大值点先验通常比函数先验更容易指定，因为从业者通常对搜索空间 \(\mathcal{X}\) 中哪些区域可能包含良好解有更强的直觉，而非对 \(f\) 精确函数形式的了解[6, 17]。我们将在第 4.1.2 节讨论如何将最大值点先验纳入 BO 采集函数。
##### 辅助观察。标准BO假设每次评估 \(\mathbf{x}\) 只产生标量目标 \(y\)。然而在实践中，评估通常产生更丰富的辅助信息，例如超参数优化中的训练曲线和诊断信息，或科学实验中的专家日志和物理测量。我们称此类信息为*辅助观察*，记作 \(y_{\text{aux}} = g(\mathbf{x})\)，(5)
其中 \(g\) 产生异构、高维或非结构化的信号。因此，每次评估产生一个元组 \((\mathbf{x}, y, y_{\text{aux}})\)，但经典BO方法丢弃 \(y_{\text{aux}}\)，因为它们缺乏将任意辅助信息纳入代理模型的机制。
##### 问题设置。在本研究中，我们考虑从业者可以访问两种互补形式的*丰富辅助信息*的BO设置：(i) 关于 \(f\) 或 \(\mathbf{x}^*\) 的先验知识，通常只能用自然语言表达；(ii) 每次评估时产生的辅助观察 \(y_{\text{aux}}\)。增强后的数据集为 \(\mathcal{D}_t = \{(\mathbf{x}_i, y_i, y_{\text{aux},i})\}_{i=1}^t\)，(6)
以及任何外部可用的先验知识。我们的目标是开发利用这两种形式辅助信息来提高样本效率的优化流程，同时在信息不具信息量或具有误导性时保持经典BO的稳健性。

## 4 方法
我们使用大型语言模型（LLM）作为将丰富辅助信息融入BO的灵活接口。我们考虑此类信息的两种互补形式。首先，关于目标函数或其最大值点的*先验知识*，我们从LLM中提取并通过代理模型或采集函数注入BO循环（第4.1节）。其次，每次评估时产生的*辅助观察* \(y_{\text{aux}}\)，我们将其作为额外上下文提供给LLM（第4.2节）。

### 4.1 LLM提取的先验
我们考虑从LLM中提取两种先验：关于 \(f\) 的*函数先验*，用于告知GP代理模型的均值（第4.1.1节）；或关于 \(\mathbf{x}^*\) 的*最大值点先验*，通过 \(\pi\)BO 与采集函数结合（第4.1.2节）。

#### 4.1.1 函数先验
我们使用LLM提供函数先验，即关于 \(f\) 在搜索空间上值的先验信念。我们分三步提取 \(\hat{\mu}_{\text{LLM}}\)。

**采样查询位置。** 我们使用Sobol序列生成 \(N\) 个点 \(\{\mathbf{x}_j\}_{j=1}^N \subset \mathcal{X}\)，提供搜索空间的低差异覆盖。

**提取序数评估。** 我们在每个 \(\mathbf{x}_j\) 处独立查询LLM，提供任务元数据，如数据集、模型家族和搜索空间描述。由于LLM已知会产生校准不佳的数值预测[5, 22]，我们不直接要求给出 \(f(\mathbf{x}_j)\) 的数值估计。相反，我们要求LLM将候选点分类到 \(K\) 个有序质量桶中的一个。