序贯稀疏高斯过程分位数回归

# 序列稀疏高斯过程分位数回归 来源：https://arxiv.org/html/2606.31284 \\newsiamremark remarkRemark\\newsiamremarkhypothesisHypothesis\\newsiamthmclaimClaim\\newsiamremarkfactFact\\headers序列稀疏高斯过程分位数回归H\. Nicolas and O\. Le Maître Hugo NicolasInria, 应用数学中心，巴黎综合理工学院，巴黎高等理工学院，帕莱索，法国 \(\)\.Olivier Le MaîtreCNRS，应用数学中心，巴黎综合理工学院，巴黎高等理工学院，帕莱索，法国 \(\)\. ###### 摘要 分位数回归旨在根据观测数据估计响应变量的条件分位数。在贝叶斯框架下，高斯过程分位数回归能够提供不确定性量化，但面临非共轭非对称拉普拉斯似然和事后推断计算成本高的重大挑战。我们开发了一种稀疏高斯过程框架，其中分位数函数通过一组缩减的诱导变量表示，并使用拉普拉斯近似进行事后推断。然后利用预测不确定性分解为条件先验方差和事后诱导方差成分，驱动两种互补的自适应机制：诱导输入填充和数据获取。这些机制被结合在一个序列算法中，该算法将计算资源分配给预测不确定性的主导来源，并自适应地控制模型复杂度。在基准问题上的数值实验证明了拉普拉斯近似的准确性、基于方差的诱导输入放置的好处，以及所提出的序列丰富策略相对于预定义数据获取策略的有效性。 ###### 关键词: 分位数回归，高斯过程，拉普拉斯近似，拒绝抽样，不确定性量化 \{MSCcodes\} 62G08, 62F15, 60G15, 68T05 ## 1 引言 分位数回归旨在根据一组输入变量估计响应变量的条件分位数。它比均值回归更全面地刻画了条件分布，在不确定性量化、风险评估、可靠性分析和不确定性决策等应用中尤其有价值。分位数估计经典地基于Koenker和Bassett[11 (https://arxiv.org/html/2606.31284#bib.bib11)]引入的非对称损失函数，其最小化器与所需的条件分位数一致。基于此公式，人们提出了各种分位数回归函数形式，包括线性模型[11 (https://arxiv.org/html/2606.31284#bib.bib11),33 (https://arxiv.org/html/2606.31284#bib.bib33)]、样条方法[12 (https://arxiv.org/html/2606.31284#bib.bib12),29 (https://arxiv.org/html/2606.31284#bib.bib29)]、随机森林[16 (https://arxiv.org/html/2606.31284#bib.bib16)]、神经网络[5 (https://arxiv.org/html/2606.31284#bib.bib5),10 (https://arxiv.org/html/2606.31284#bib.bib10)]、核方法[28 (https://arxiv.org/html/2606.31284#bib.bib28)]和高斯过程\(GPs\)[23 (https://arxiv.org/html/2606.31284#bib.bib23),22 (https://arxiv.org/html/2606.31284#bib.bib22)]。在本文中，我们聚焦于高斯过程分位数回归。高斯过程提供了灵活的的非参数框架来建模未知函数，同时自然地量化预测不确定性。在贝叶斯框架下，不确定性通过分位数函数的事后分布表示，并可传播到预测中。贝叶斯分位数回归的常见选择是将高斯过程先验与非对称拉普拉斯似然相结合，其最大似然估计恢复了频率学派分位数回归解。这种组合提供了一种原则性的方式来学习条件分位数及其相关的不确定性。两个挑战限制了贝叶斯分位数回归与高斯过程的实际部署。首先，事后推断在分析上难以处理，因为非对称拉普拉斯似然与高斯过程先验不共轭。其次，可扩展的稀疏公式需要构建高效的诱导表示，包括诱导输入的数量和位置。人们提出了几种近似方法来解决这种难处理性。基于抽样的方法，如马尔可夫链蒙特卡罗\(MCMC\)，对于分位数回归任务很灵活[33 (https://arxiv.org/html/2606.31284#bib.bib33),14 (https://arxiv.org/html/2606.31284#bib.bib14),13 (https://arxiv.org/html/2606.31284#bib.bib13)]，但对于大数据集和复杂模型可能计算需求高。确定性替代方案则直接近似事后分布，通过期望传播\(EP\)、变分推断或拉普拉斯近似。在高斯过程分位数回归的背景下，Boukouvalas等人[3 (https://arxiv.org/html/2606.31284#bib.bib3)]考虑了EP，而Abeywardana and Ramos[1 (https://arxiv.org/html/2606.31284#bib.bib1)]基于非对称拉普拉斯分布的位置-尺度混合表示提出了变分近似。为了提高可扩展性，稀疏高斯过程模型引入一组缩减的潜在诱导变量，作为潜在函数的紧凑表示。最近的高斯过程分位数回归框架，例如Picheny等人[21 (https://arxiv.org/html/2606.31284#bib.bib21)]提出的框架，采用了稀疏变分高斯过程公式。稀疏变分高斯过程通过高斯分布近似诱导变量的事后分布，其均值和协方差通常联合优化[27 (https://arxiv.org/html/2606.31284#bib.bib27),30 (https://arxiv.org/html/2606.31284#bib.bib30),8 (https://arxiv.org/html/2606.31284#bib.bib8),15 (https://arxiv.org/html/2606.31284#bib.bib15)]。虽然有效，但诱导点数量MM通常预先指定，且优化问题的维度随MM二次增长。在本文中，我们开发了一个序列稀疏高斯过程框架，其中预测不确定性的分解为事后推断、自适应模型丰富和数据获取提供了统一基础。所提出的方法解决了稀疏高斯过程分位数回归中的两个关键挑战：诱导变量事后分布的有效近似和模型复杂度的自适应控制。第一个贡献是基于拉普拉斯近似的稀疏贝叶斯分位数回归公式，用于诱导变量的事后分布。我们不再像稀疏变分高斯过程那样优化近似事后分布的均值向量和协方差矩阵，而是将推断重新表述为确定最大后验估计并反转相关的海森矩阵。这产生了一个易处理的优化问题，其主导优化变量的数量从变分公式的O\(M2\)\\mathcal\{O\}\(M^\{2\}\)减少到所提出方法中的O\(M\)\\mathcal\{O\}\(M\)。第二个贡献是自适应的诱导输入填充策略，因为诱导点集的质量对于稀疏高斯过程的性能至关重要[4 (https://arxiv.org/html/2606.31284#bib.bib4),32 (https://arxiv.org/html/2606.31284#bib.bib32),17 (https://arxiv.org/html/2606.31284#bib.bib17)]。诱导输入被视为自适应模型组件，而非固定设计变量。受Burt等人[4 (https://arxiv.org/html/2606.31284#bib.bib4)]和Ober等人[20 (https://arxiv.org/html/2606.31284#bib.bib20)]的启发，新的诱导输入通过最大化条件先验方差的积分减少而序列地引入，从而确定它们的位置和数量。第三个贡献是基于诱导变量引起的事后不确定性的自适应数据获取策略。额外的训练数据优先在诱导变量的事后不确定性对预测不确定性贡献最大的区域获取。这两种丰富机制作用于预测不确定性的不同组成部分：诱导点填充减少条件先验方差，而数据获取减少事后诱导方差。最后，两种丰富机制被结合到一个统一的序列算法中。一个基于方差的切换标准决定计算资源是分配到改进诱导表示还是获取额外训练数据。由此产生的过程自适应地平衡模型复杂度和数据可用性，同时针对预测不确定性的主导来源。论文的其余部分组织如下。第2节 (https://arxiv.org/html/2606.31284#S2)介绍了稀疏高斯过程分位数回归公式和拉普拉斯近似。第3节 (https://arxiv.org/html/2606.31284#S3)介绍了诱导输入填充策略、自适应数据获取程序和序列丰富算法。数值实验在第4节 (https://arxiv.org/html/2606.31284#S4)报告，技术推导收集在附录中。 ## 2 贝叶斯分位数回归 ### 2\.1 推断问题 设f:X×Ω→Rf:\\mathcal\{X\}\\times\\varOmega\\to\\mathbb\{R\}是一个可测函数，其中输入空间X⊂RD\\mathcal\{X\}\\subset\\mathbb\{R\}^\{D\}是紧致的，而\(Ω,F,P\)\(\\varOmega,\\mathcal\{F\},\\mathbb\{P\}\)表示底层概率空间。定义y\(x\):=f\(x,⋅\)y\(\\mathbf\{x\}\):=f\(\\mathbf\{x\},\\cdot\)为随机过程ff在确定性输入x∈X\\mathbf\{x\}\\in\\mathcal\{X\}\)处的随机输出。对于指定的分位数水平τ∈\(0,1\)\\tau\\in\(0,1\)，y\(x\)y\(\\mathbf\{x\}\)分布的τ\\tau\-分位数定义为qτ\(x\)=inf\{ν∈R:P\(y\(x\)≤ν\)≥τ\}q\_\{\\tau\}\(\\mathbf\{x\}\)=\\inf\\\{\\nu\\in\\mathbb\{R\}:\\mathbb\{P\}\\,\(y\(\\mathbf\{x\}\)\\leq\\nu\)\\geq\\tau\\\}。考虑一个训练数据集D=\{\(yn,xn\)\}n=1N\\mathcal\{D\}=\\\{\(\\mathrm\{y\}\_\{n\},\\mathbf\{x\}\_\{n\}\)\\\}\_\{n=1\}^\{N\}，包含NN个随机变量y\(xn\)y\(\\mathbf\{x\}\_\{n\}\)的独立实现yn∈R\\mathrm\{y\}\_\{n\}\\in\\mathbb\{R\}及其关联的输入位置xn∈X\\mathbf\{x\}\_\{n\}\\in\\mathcal\{X\}\)。等价地，yn=f\(xn,ωn\)\\mathrm\{y\}\_\{n\}=f\(\\mathbf\{x\}\_\{n\},\\omega\_\{n\}\)，其中ω1,...,ωN\\omega\_\{1\},\\ldots,\\omega\_\{N\}是从\(Ω,F,P\)\(\\varOmega,\\mathcal\{F\},\\mathbb\{P\}\)独立抽取的。分位数回归旨在从训练数据中学习未知的τ\\tau\-分位数函数qτ:X→Rq\_\{\\tau\}:\\mathcal\{X\}\\to\\mathbb\{R\}。在本文中，我们采用贝叶斯观点看待分位数回归问题。贝叶斯推断为数据生成过程指定了一个概率模型，并提供了一个原则性的框架，根据贝叶斯定理用新观测更新模型。在输入x∈X\\mathbf\{x\}\\in\\mathcal\{X\}\)处与τ\\tau\-分位数的偏差ε\\varepsilon是一个随机变量，建模为 \(1\)ε\(x\)=y\(x\)−qτ\(x\)\.\\varepsilon\(\\mathbf\{x\}\)=y\(\\mathbf\{x\}\)\-q\_\{\\tau\}\(\\mathbf\{x\}\)\. 遵循Yu and Moyeed[33 (https://arxiv.org/html/2606.31284#bib.bib33)]，假设该偏差服从非对称拉普拉斯分布。我们考虑由Yu and Zhang[34 (https://arxiv.org/html/2606.31284#bib.bib34)]引入的非对称拉普拉斯密度，定义为 \(2\)fε\(ν;α\)=τ\(1−τ\)αexp⁡\(−ρτ\(ν\)α\),f\_\{\\varepsilon\}\(\\nu\\,;\\alpha\)=\\frac\{\\tau\(1\-\\tau\)\}\{\\alpha\}\\exp\\left\(\-\\frac\{\\rho\_\{\\tau\}\(\\nu\)\}\{\\alpha\}\\right\),其中α\>0\\alpha\>0是尺度参数，ρτ\\rho\_\{\\tau\}表示分位数检验函数。它由下式给出 \(3\)ρτ\(ν\)=\(τ−1\{ν≤0\}\)ν,\\rho\_\{\\tau\}\(\\nu\)=\\left\(\\tau\-\\mathds\{1\}\_\{\\\{\\nu\\leq 0\\\}\}\\right\)\\nu,其中1\{ν≤0\}\\mathds\{1\}\_\{\\\{\\nu\\leq 0\\\}\}表示指示函数，当ν≤0\\nu\\leq 0时等于11，否则为0。检验函数是非负的。尺度参数α\\alpha编码了条件分布围绕其τ\\tau\-分位数的散布。我们假设它在输入空间X\\mathcal\{X\}\)上是常数。这个假设可以通过允许尺度参数随输入变化来放宽，如Picheny等人[21 (https://arxiv.org/html/2606.31284#bib.bib21)]所做，他们对其放置了一个高斯过程先验。在条件独立性假设下，观测y=\[y1,...,yN\]⊤\\mathbf\{y\}=\[\\mathrm\{y\}\_\{1\},\\ldots,\\mathrm\{y\}\_\{N\}\]^\{\\top\}在给定输入位置X=\[x1,...,xN\]\\mathbf\{X\}=\[\\mathbf\{x\}\_\{1\},\\ldots,\\mathbf\{x\}\_\{N\}\]和τ\\tau\-分位数函数qτq\_\{\\tau\}的条件下是独立的。因此，观测数据的似然p\(y∣X,qτ\)p\(\\mathbf\{y\}\\mid\\mathbf\{X\},q\_\{\\tau\}\)因子化为 \(4\)p\(y∣X,qτ\)=∏n=1Nfε\(yn−qτ\(xn\);α\)=\(τ\(1−τ\)α\)Nexp⁡\(−1α∑n=1Nρτ\(yn−qτ\(xn\)\)\)\.p\(\\mathbf\{y\}\\mid\\mathbf\{X\},q\_\{\\tau\}\)=\\prod\_\{n=1\}^\{N\}f\_\{\\varepsilon\}\(\\mathrm\{y\}\_\{n\}\-q\_\{\\tau\}\(\\mathbf\{x\}\_\{n\}\)\\,;\\alpha\)=\\left\(\\frac\{\\tau\(1\-\\tau\)\}\{\\alpha\}\\right\)^\{N\}\\exp\\left\(\-\\frac\{1\}\{\\alpha\}\\sum\_\{n=1\}^\{N\}\\rho\_\{\\tau\}\(\\mathrm\{y\}\_\{n\}\-q\_\{\\tau\}\(\\mathbf\{x\}\_\{n\}\)\)\\right\)\. 我们将潜在τ\\tau\-分位数函数建模为高斯过程的一个实现。高斯过程是一组随机变量的集合，其中任何有限子集都具有联合正态分布[24 (https://arxiv.org/html/2606.31284#bib.bib24), Section 2\.2]。它定义了函数上的分布，完全由其均值函数和协方差函数指定。协方差函数，也称为核，编码了对潜在函数平滑性和结构的假设。不失一般性，我们考虑零均值高斯过程。那么τ\\tau\-分位数函数的先验分布是 \(5\)π\(qτ\)=GP\(0,κ\(⋅,⋅;ψ\)\),\\pi\(q\_\{\\tau\}\)=\\mathcal\{GP\}\\big\(0,\\kappa\(\\cdot,\\cdot\\,;\\boldsymbol\{\\psi\}\)\\big\),其中κ\(⋅,⋅;ψ\)\\kappa\(\\cdot,\\cdot\\,;\\boldsymbol\{\\psi\}\)表示带有超参数ψ∈Ψ\\boldsymbol\{\\psi\}\\in\\varPsi的核。在以下内容中，我们采用各向异性的Matérn5/25/2核，定义为 \(6\)κ\(x,x′;ψ\)=σs2\(1\+5r\(x,x′\)\+53r2\(x,x′\)\)exp⁡\(−5r\(x,x′\)\),\\kappa\(\\mathbf\{x\},\\mathbf\{x\}^\{\\prime\}\\,;\\boldsymbol\{\\psi\}\)=\\sigma\_\{\\mathrm\{s\}\}^\{2\}\\left\(1\+\\sqrt\{5\}\\,r\(\\mathbf\{x\},\\mathbf\{x\}^\{\\prime\}\)\+\\frac\{5\}\{3\}r^\{2\}\(\\mathbf\{x\},\\mathbf\{x\}^\{\\prime\}\)\\right\)\\exp\\left\(\-\\sqrt\{5\}\\,r\(\\mathbf\{x\},\\mathbf\{x\}^\{\\prime\}\)\\right\),其中σs2∈R\>0\\sigma\_\{\\text\{s\}\}^\{2\}\\in\\mathbb\{R\}\_\{\>0\}表示信号方差，并且 \(7\)r\(x,x′\)=\(x−x′\)⊤Λ−1\(x−x′\)r\(\\mathbf\{x\},\\mathbf\{x\}^\{\\prime\}\)=\\sqrt\{\(\\mathbf\{x\}\-\\mathbf\{x\}^\{\\prime\}\)^\{\\top\}\\boldsymbol\{\\Lambda\}^\{\-1\}\(\\mathbf\{x\}\-\\mathbf\{x\}^\{\\prime\}\)\}是各向异性欧几里得距离，其中Λ:=diag⁡\(l12,...,lD2\)\\boldsymbol\{\\Lambda\}:=\\operatorname\{diag\}\(\\ell\_\{1\}^\{2\},\\ldots,\\ell\_\{D\}^\{2\}\)是一个由每个输入维度d=1,...,Dd=1,\\dots,D的正长度尺度ld∈R\>0\\ell\_\{d\}\\in\\mathbb\{R\}\_\{\>0\}\)组成的对角矩阵。因此，超参数向量由ψ=\[σs2,l1,...,lD\]⊤\\boldsymbol\{\\psi\}=\[\\sigma\_\{\\text\{s\}\}^\{2\},\\ell\_\{1\},\\ldots,\\ell\_\{D\}\]^\{\\top\}给出。在本文的其余部分，我们通过省略对讨论非必需的超参数依赖性来简化符号。贝叶斯定理定义了