高效条件化：伪观测批量贝叶斯优化为何有效及何时失效

arXiv cs.LG 论文
bayesian-optimization gaussian-processes batch-selection theory machine-learning efficient-conditioning

摘要

本文为伪观测批量贝叶斯优化提供了一个统一的理论框架，证明了高斯过程（Gaussian processes）能产生不同的批量点，并且像Constant Liar和Kriging Believer这样的常见方法是一个单一条件化机制的实例。它引入了结构多样性诊断（SDD）来测试代理模型兼容性，并在多个基准函数和超参数调优中验证了预测结果。

arXiv:2605.18819v1 公告类型：新 摘要：Constant Liar (CL)、Kriging Believer (KB) 和 fantasy 模型广泛用于并行贝叶斯优化中的批量选择，但一直缺乏一个统一的理论来解释它们的有效性及失败条件。我们识别出高效条件化（efficient conditioning）是关键代理模型属性——即在数据扩充时能够以封闭形式更新预测的能力。我们证明高斯过程（Gaussian Processes）满足这一要求，能产生阶数为l的可证明不同的批量点，并且这对任何在后验不确定性上单调非递减的采集函数（EI, UCB, PI）都成立，而Thompson Sampling具有定性相似的行为。我们将CL、KB和fantasy模型统一为单一条件化机制的实例，仅在于谎言值分布（lie value distribution）不同，并与局部惩罚（LP）建立定量联系，与行列式点过程（DPPs）建立定性联系。为了将模型结构与优化器随机性分开，我们引入了结构多样性诊断（SDD），这是一种可重用的测试代理模型兼容性的方法论。在Hartmann6D、Ackley 8D、Levy10D和SVM超参数调优上的实验验证了所有理论预测：CL或KB的隐式惩罚匹配或超越显式LP；贪婪条件化收敛与联合qEI相当；高效条件化扩展到Multiquadric RBF网络；而参数代理模型即使完全重新训练（如随机森林）也会产生退化批量，神经网络只有以GP条件化15倍的实时开销才能恢复多样性。在多个初始数据集和观测噪声下验证了鲁棒性。
查看原文

相似文章

多任务贝叶斯优化的陷阱与补救措施

arXiv cs.LG

本文确定了两种结构机制，导致多任务高斯过程在贝叶斯优化迁移学习中错误估计跨任务相关性，即使对于仿射相关的任务也是如此。作者提出了三种保守的补救措施来缓解这些问题。

通过预测梯度催化剂加速多目标贝叶斯优化

arXiv cs.LG

本文介绍了一种通用加速机制，用于多目标贝叶斯优化，该机制利用高斯过程预测梯度作为辅助信号来增强现有的采集函数，从而在有限的评估预算下更快地收敛到全局帕累托集。

Adaptive KappaSharp: Condition-Number Shaping for Preferential Bayesian Optimization

arXiv cs.LG

This paper introduces KappaSharp, a method for condition-number shaping in Preferential Bayesian Optimization that corrects the ill-conditioned Hessian from isolated pairwise comparisons, showing up to +10.9% improvement over the standard PairedGP/EUBO baseline on 11 benchmarks including plasma medicine controller tuning.

在线自适应核混合的高斯过程决策制定

arXiv cs.LG

本文介绍 HACK GPs，这是一种使用专家建议在线学习的方法，用于高斯过程中的核选择，增强在序贯决策任务（如贝叶斯优化和主动学习）中的鲁棒性。

循环外多保真贝叶斯优化

arXiv cs.LG

本文探讨了多保真贝叶斯优化问题，其中最高保真函数因代价过高而无法纳入优化循环，并提出了结合历史高保真数据与任务描述符的方法。该方法在合成函数、化学以及超参数优化任务上得到了验证。