在线局部化共形预测

# 在线局部化共形预测
来源: https://arxiv.org/html/2605.05497
Yuheng Lai 威斯康星大学-麦迪逊分校 [email protected] & Garvesh Raskutti 威斯康星大学-麦迪逊分校 [email protected]

###### 摘要

共形预测（Conformal Prediction）是一个为具有可交换数据的通用模型提供有效不确定性量化的框架。然而，在在线学习和时间序列设定中，可交换性假设往往不成立。现有的在线共形方法，如自适应共形推断（ACI），虽然能够实现长期有效性，但由于依赖全局校准，在协变量异质性下仍然效率低下。我们提出了*在线局部化共形预测（OLCP）*，该方法结合了在线适应与依赖协变量的局部化，以更好地反映异质性。为了降低对局部化带宽的敏感性，我们进一步开发了*OLCP-Hedge*，它在约束在线凸优化框架下，将带宽选择作为一个在线专家聚合问题进行处理。重要的是，我们为这两种算法提供了覆盖率保证，并通过模拟和真实数据实验表明，所提出的方法在与现有基线方法相比时，能以更窄的预测区间实现有效的长期覆盖率。

## 1 引言

在在线学习和时间序列预测中，可靠的不确定性量化至关重要，因为这些场景中的数据通常具有时间依赖性、非平稳性，并且在协变量空间中存在异质性。我们的目标是为序列数据流 $\{(X_t, Y_t)\}_{t=1}^T$ 构建在线预测集 $C_t(X_t) \subseteq \mathcal{Y}$，使得长期覆盖率目标

$$ \frac{1}{T} \sum_{t=1}^{T} \mathbf{1}\{Y_t \in C_t(X_t)\} \approx 1-\alpha \quad (1) $$

得以实现，同时保持平均预测集大小尽可能小。

共形预测（CP）在可交换性假设下，为分布无关的不确定性量化提供了有限样本边缘覆盖率保证 (vovk2005algorithmic, (https://arxiv.org/html/2605.05497#bib.bib28); lei2018distribution, (https://arxiv.org/html/2605.05497#bib.bib16); angelopoulos2023conformal, (https://arxiv.org/html/2605.05497#bib.bib1))。然而，由于时间依赖性、分布偏移、异方差性和结构性断点，在线和时间序列设定中可交换性往往被违背。现有的在线共形方法，如自适应共形推断（ACI）(gibbs2021adaptive, (https://arxiv.org/html/2605.05497#bib.bib7)) 和动态调优 ACI (DtACI) (gibbs2024conformal, (https://arxiv.org/html/2605.05497#bib.bib8))，通过随时间调整名义误覆盖率水平来解决这一问题，并在非可交换条件下实现了长期有效性。尽管如此，这些方法仍然是*全局*校准的：它们对整体不确定性的时间变化做出反应，但并未根据局部协变量依赖的异质性来调整集合大小。结果导致它们在协变量空间的“简单”区域可能过于宽泛，而在“困难”区域又过于狭窄。

另一类互补的工作通过局部化来解决异质性问题。具体而言，局部化共形预测（LCP）根据协变量相似性重新加权校准点，使得集合大小能够随局部不确定性而变化 (guan2023localized, (https://arxiv.org/html/2605.05497#bib.bib9))。尽管在异质性回归问题中颇具吸引力，但现有的局部化共形方法依赖于可交换性，并未针对在线非平稳数据流设计。这留下了一个自然的空白：当前的在线共形方法处理时间上的非可交换性但保持全局性，而当前的局部化共形方法适应异质性却无法处理非可交换的在线数据。

我们提出了*在线局部化共形预测*（OLCP），它将在线校准与依赖协变量的局部化相结合。在每一时刻 $t$，OLCP 在当前协变量 $X_t$ 周围计算一个局部化共形分位数，然后利用已实现的覆盖率反馈更新名义误覆盖率水平。因此，预测集大小既随时间变化，也随协变量空间变化。一个关键的实际问题是带宽选择。为了降低对该选择的敏感性，我们将带宽选择表述为一个以预测集大小为优化目标、以覆盖率为约束的在线专家聚合问题，并开发了 *OLCP-Hedge*，这是一种在一组 OLCP 专家上进行约束在线凸优化的程序。

我们的主要贡献如下：

- 我们引入了 OLCP，这是一种局部化的在线共形方法，结合了依赖协变量的校准与反馈驱动的在线适应。
- 我们证明，尽管用局部化分位数替代了全局共形分位数，OLCP 在其序列覆盖率跟踪更新下仍享有长期覆盖率保证。
- 我们将 OLCP 带宽选择表述为约束在线凸优化问题，并提出了 OLCP-Hedge，该方法在控制长期覆盖率违规的同时，在集合大小方面与最佳可行带宽专家竞争。我们提供了 OLCP-Hedge 的覆盖率和集合大小保证。
- 通过模拟和真实数据实验，我们表明在异质性和非平稳设定下，OLCP 和 OLCP-Hedge 能够实现有效的长期覆盖率，且预测区间比现有的在线共形基线方法更窄。

## 2 问题设定与相关工作

我们观察到一个序列流 $\{(X_t, Y_t)\}_{t=1}^T$，其中 $X_t \in \mathcal{X}$ 在预测前被观测到，而 $Y_t \in \mathcal{Y}$ 在预测后被揭示。在每一时刻 $t$，利用过去的数据和当前协变量 $X_t$，我们为 $Y_t$ 构建一个预测集

$$ C_t(X_t) \subseteq \mathcal{Y} $$

我们的目标是在保持预测集尽可能小的同时，达到目标长期覆盖率水平 $1-\alpha$ (https://arxiv.org/html/2605.05497#S1.E1)。与经典共形设定不同，我们不假设 $\{(X_t, Y_t)\}$ 的可交换性；该序列可能在时间上相关、非平稳或在协变量空间中存在异质性。

#### 共形预测（CP）。

我们首先介绍分割共形预测框架 (vovk2005algorithmic, (https://arxiv.org/html/2605.05497#bib.bib28); angelopoulos2023conformal, (https://arxiv.org/html/2605.05497#bib.bib1))。使用*独立*训练样本来构建评分函数 $s: \mathcal{X} \times \mathcal{Y} \to \mathbb{R}$，其中较大的值表示候选对 $(x, y)$ 与训练数据的不一致性较高；例如，可以取 $s(x, y) = \|y - \hat{f}(x)\|$，其中 $\hat{f}$ 是预训练的预测器。

给定校准点 $Z_i = (X_i, Y_i), i=1, \dots, n$，定义校准评分 $S_i := s(X_i, Y_i)$ 和经验评分分布

$$ \widehat{F}_n := \frac{1}{n} \sum_{i=1}^{n} \delta_{S_i}, \quad \text{其中 } \delta_s \text{ 是在 } s \in \mathbb{R} \text{ 处的点质量} $$

对于任意 $\tau \in [0,1]$，令

$$ Q(\tau; F) := \inf\{t \in \mathbb{R} \cup \{\infty\} : F((-\infty, t]) \geq \tau\} $$

表示分布 $F$ 的下 $\tau$-分位数。分割共形预测通过以下方式校准评分阈值：

$$ \widehat{q}_{1-\alpha} := Q\!\left(\frac{\lceil(n+1)(1-\alpha)\rceil}{n}; \, \widehat{F}_n\right), $$

并输出预测集

$$ C^{\text{CP}}(X_{n+1}) = \{y \in \mathcal{Y} : s(X_{n+1}, y) \leq \widehat{q}_{1-\alpha}\}. $$

在校准点和测试点的可交换性下，该构造提供了有限样本边缘覆盖率，

$$ \mathbb{P}\{Y_{n+1} \in C^{\text{CP}}(X_{n+1})\} \geq 1-\alpha, $$

同时允许评分 $s$ 的选择完全灵活 (lei2018distribution, (https://arxiv.org/html/2605.05497#bib.bib16); romano2019conformalized, (https://arxiv.org/html/2605.05497#bib.bib21))。

#### 局部化共形预测（LCP）。

分割共形预测的自然扩展是用加权经验评分分布替换未加权的经验评分分布，为与测试点更相关的校准点分配更大的权重。这一思想构成了用于协变量偏移及相关分布偏移的加权共形方法的基础 (hore2025conformal, (https://arxiv.org/html/2605.05497#bib.bib13); barber2023conformal, (https://arxiv.org/html/2605.05497#bib.bib2))。局部化共形预测（LCP）将此加权方案专门应用于协变量空间，强调那些特征接近测试协变量 $X_{n+1}$ 的校准点 (guan2023localized, (https://arxiv.org/html/2605.05497#bib.bib9))。具体而言，LCP 引入一个局部化函数 $H: \mathcal{X} \times \mathcal{X} \to [0, \infty)$，并定义归一化局部权重

$$ p_{n+1,j}^H := \frac{H(X_{n+1}, X_j)}{\sum_{k=1}^{n+1} H(X_{n+1}, X_k)}, \quad j=1, \dots, n+1, $$

以及加权增强评分分布

$$ \widehat{F}_{n+1}^H := \sum_{j=1}^{n} p_{n+1,j}^H \, \delta_{S_j} \; + \; p_{n+1,n+1}^H \, \delta_{\infty}. $$

分割共形预测的一个朴素局部化模拟将使用权重分位数 $Q(1-\alpha; \widehat{F}_{n+1}^H)$，但这通常无法保持有限样本有效性。[guan2023localized] (https://arxiv.org/html/2605.05497#bib.bib9) 表明，通过将 $1-\alpha$ 替换为重新校准的水平 $\tilde{\alpha}$ 可以恢复有效性，从而得到预测集

$$ C^{\text{LCP}}(X_{n+1}) = \{y \in \mathcal{Y} : s(X_{n+1}, y) \leq Q(\tilde{\alpha}; \widehat{F}_{n+1}^H)\}. $$

这保留了有限样本边缘覆盖率，同时允许预测集适应依赖协变量的异质性。

#### 自适应共形推断（ACI）。

另一类工作通过在线校准来解决非可交换性问题。遵循 gibbs2021adaptive (https://arxiv.org/html/2605.05497#bib.bib7)，令 $D_t$ 表示时刻 $t$ 的估计一致性评分分布，例如近期评分的经验分布。对于任意 $\beta \in [0,1]$，定义

$$ C_t^{\text{ACI}}(\beta) = \{y \in \mathcal{Y} : s(X_t, y) \leq Q(1-\beta; D_t)\}. $$

自适应共形推断（ACI）用在线更新的参数 $\alpha_t^{\text{ACI}}$ 替换固定的名义水平 $\alpha$。在使用 $C_t^{\text{ACI}}(\alpha_t^{\text{ACI}})$ 进行预测后，它观察

$$ \mathrm{err}_t^{\text{ACI}} := \mathbf{1}\{Y_t \notin C_t^{\text{ACI}}(\alpha_t^{\text{ACI}})\}, $$

并更新

$$ \alpha_{t+1}^{\text{ACI}} = \alpha_t^{\text{ACI}} + \gamma(\alpha - \mathrm{err}_t^{\text{ACI}}), $$

其中 $\gamma > 0$ 是步长 (gibbs2021adaptive, (https://arxiv.org/html/2605.05497#bib.bib7))。这产生了一种反馈驱动的校准规则，旨在任意分布偏移下实现长期覆盖率。

#### 其他相关工作。

ACI 的一个关键局限性是对步长 $\gamma$ 的敏感性。DtACI (gibbs2024conformal, (https://arxiv.org/html/2605.05497#bib.bib8)) 和 AgACI (zaffran2022adaptive, (https://arxiv.org/html/2605.05497#bib.bib32)) 通过在线聚合多个 ACI 专家来解决这一问题，而最近的工作开发了基于通用组合算法的无参数在线共形更新 (liu2026online, (https://arxiv.org/html/2605.05497#bib.bib18))。其他序列共形方法随时间更新评分或区间大小：EnbPI (enbpi, (https://arxiv.org/html/2605.05497#bib.bib29)) 在弱依赖条件下围绕自助法集成预测器构建预测集，而 SPCI (spci, (https://arxiv.org/html/2605.05497#bib.bib30)) 从过去残差中预测未来残差分位数。另一个方向是利用额外结构来预测突变：CPTC (sun2025cptc, (https://arxiv.org/html/2605.05497#bib.bib26)) 维护特定状态的评分集并使用预测的潜在状态序列进行聚合，但依赖于状态预测器和状态条件预测器。在可交换性下，选择和聚合方法在共形预测器之间进行选择，同时通过重新校准保持有限样本有效性 (yang2025selection, (https://arxiv.org/html/2605.05497#bib.bib31); liang2024conformal, (https://arxiv.org/html/2605.05497#bib.bib17))；我们的设定则将覆盖率视为一个长期的在线约束。最后，超越可交换性的共形方法使用数据依赖或固定权重，包括协变量偏移共形预测 (tibshirani2019conformal, (https://arxiv.org/html/2605.05497#bib.bib27)) 和非可交换数据的固定权重方法 (barber2023conformal, (https://arxiv.org/html/2605.05497#bib.bib2))。

## 3 方法

### 3.1 在线局部化共形预测

我们现在介绍我们的第一个也是主要的方法*在线局部化共形预测*（OLCP）。出发点是在序列预测中出现了两个不同的困难。首先，在协变量异质性下，不确定性在特征空间中可能变化很大，因此全局共形分位数可能分配集合大小效率低下。其次，在时间分布偏移下，适当的校准水平本身也会随时间变化。OLCP 通过在 $\mathcal{X}$ 中进行局部化校准并结合名义水平的在线更新来同时解决这两个问题。

#### 局部化校准分布。

固定带宽 $h > 0$，局部化函数

$$ H_h: \mathcal{X} \times \mathcal{X} \to [0, \infty), $$

以及固定窗口大小 $R$ 的滚动校准窗口 $\mathcal{I}_t := \{\max(1, t-R), \dots, t-1\}$。对于每个 $i \in \mathcal{I}_t$，$S_i = s(X_i, Y_i)$ 表示时刻 $i$ 的已实现一致性评分。对于查询协变量 $x \in \mathcal{X}$，定义归一化局部权重

$$ w_{t,i}^{(h)}(x) := \frac{H_h(x, X_i)}{\sum_{j \in \mathcal{I}_t} H_h(x, X_j)}. \quad (2) $$

然后我们形成局部化经验分布

$$ D_t^{(h)}(x) := \sum_{i \in \mathcal{I}_t} w_{t,i}^{(h)}(x) \, \delta_{S_i}. $$

这是局部化共形预测中使用的加权经验分布的在线模拟 ([guan2023localized, (https://arxiv.org/html/2605.05497#bib.bib9))：与接近查询点 $x$ 的协变量相关的过去评分获得更多权重。

对于任意查询协变量 $x \in \mathcal{X}$ 和任意 $\beta \in [0,1]$，定义

$$ C_t^{(h)}(x; \beta) := \{y \in \mathcal{Y} : \; s(x, y) \leq Q(1-\beta; D_t^{(h)}(x))\}. $$

因此，$h$ 控制局部化的程度：小的 $h$ 强调附近的协变量，而大的 $h$ 恢复更全局的规则 (guan2023localized, (https://ar