高效条件化：伪观测批量贝叶斯优化为何有效及何时失效

arXiv:2605.18819v1 公告类型：新 摘要：Constant Liar (CL)、Kriging Believer (KB) 和 fantasy 模型广泛用于并行贝叶斯优化中的批量选择，但一直缺乏一个统一的理论来解释它们的有效性及失败条件。我们识别出高效条件化（efficient conditioning）是关键代理模型属性——即在数据扩充时能够以封闭形式更新预测的能力。我们证明高斯过程（Gaussian Processes）满足这一要求，能产生阶数为l的可证明不同的批量点，并且这对任何在后验不确定性上单调非递减的采集函数（EI, UCB, PI）都成立，而Thompson Sampling具有定性相似的行为。我们将CL、KB和fantasy模型统一为单一条件化机制的实例，仅在于谎言值分布（lie value distribution）不同，并与局部惩罚（LP）建立定量联系，与行列式点过程（DPPs）建立定性联系。为了将模型结构与优化器随机性分开，我们引入了结构多样性诊断（SDD），这是一种可重用的测试代理模型兼容性的方法论。在Hartmann6D、Ackley 8D、Levy10D和SVM超参数调优上的实验验证了所有理论预测：CL或KB的隐式惩罚匹配或超越显式LP；贪婪条件化收敛与联合qEI相当；高效条件化扩展到Multiquadric RBF网络；而参数代理模型即使完全重新训练（如随机森林）也会产生退化批量，神经网络只有以GP条件化15倍的实时开销才能恢复多样性。在多个初始数据集和观测噪声下验证了鲁棒性。