Adaptive Bayes 在内在时间上精确追踪信息

# 自适应贝叶斯精确追踪内在时间上的信息 来源: https://arxiv.org/html/2607.08789 ###### 摘要 贝叶斯更新和乘法权重更新通过序贯反馈重新加权专家、模型或动作。我们证明，任何此类更新的遗憾都遵循一个精确的信息核算恒等式。在每一轮中，学习器相对于任意选定比较器的超额损失，是该轮暴露出的不确定性的即时支付，加上从学习器当前权重到比较器的信息距离的减少量之和。累积支付定义了一条路径依赖的不确定性时钟，即实现序列的\*内在时间\*。对单步平衡求和，可得到累积遗憾的两种精确自适应分解，分别对应于跨轮次组合更新的两种自然方式。由于这些分解是精确的而非上界，有利的随机或低噪声场景表现为实现的内在时间的自界性质，而非最坏情况分析中的松弛。同一演算涵盖了 Hedge、乐观和侧信息变体、连续先验、提升方法、在线凸优化、上下文赌博机以及重复博弈：路径依赖的核算在所有情况下都相同。 ## 1 引言 贝叶斯更新和乘法更新是从序贯反馈中学习的主要机制。在经典的专家问题中，它们在每个损失向量后重新加权专家；在贝叶斯模型平均中，它们在每次观测后重新加权模型；在许多现代流程中，它们在部分证据后重新加权候选动作、假设或响应。其共同原语很简单：维护一个关于候选者的分布，观察反馈，并将质量转移到能更好解释该反馈的候选者上。本文的主旨在于，这些更新的性能可以写成精确的信息分类账。在每一轮中，学习器相对于选定基准的超额损失，分解为当前反馈所暴露不确定性的即时支付，以及到基准的信息差距的减少量。对这些单步平衡求和，可得到两种精确的自适应分解：一种用于先验重调温更新，该更新利用累积分数从原始先验重新计算当前后验；另一种用于局部更新，该更新仅利用当前分数向量从当前权重移动。在这两种情况下，信息是共同的核算货币。它扮演着多重角色：衡量比较器复杂度、控制学习率效应，以及记录实现序列的实际难度。 此更新模板不仅适用于带专家建议的预测，还广泛适用于其他领域。它涵盖了贝叶斯模型平均、乐观在线学习、赌博机算法、提升方法、连续域上的在线凸优化、重复博弈、上下文决策、多尺度聚合以及 softmax 偏好学习。所有这些都是一种贝叶斯规则更新的实例，只是分数、侧信息以及学习率的选择不同。 在第 \(t\) 轮，学习器在 \(K\) 个专家上选择权重 \(p_t \in \Delta([K])\)，观察到专家损失 \(\ell_t \in \mathbb{R}^K\)，并承担混合损失 \(\langle p_t, \ell_t \rangle\)。对于比较器分布 \(\rho \in \Delta([K])\)，到时间 \(T\) 的累积遗憾为：
\[
R_T^{\ell}(\rho) := \sum_{t=1}^T \langle p_t, \ell_t \rangle - \langle \rho, L_T \rangle \qquad\qquad L_T := \sum_{t=1}^T \ell_t
\]
点质量比较器恢复了通常针对单个专家的遗憾，而扩散的 \(\rho\) 则与任意混合比较。比较器简单来说就是事后我们想要匹配的基准分布，而遗憾是学习器相对于该基准的额外累积损失。本文中损失序列可以是任意的，因此每条陈述都是路径依赖的，针对学习器实现的轨迹。

经典的 Hedge/指数权重算法 [27 (https://arxiv.org/html/2607.08789#bib.bib27)] 是 \(c_t = \ell_t\) 的特殊情况。更一般地，可以先通过正因子 \(s_t(i)\) 引入侧信息，设置 \(u_t(i) := -\eta_t^{-1} \log s_t(i)\) 和 \(c_t(i) := \ell_t(i) + u_t(i)\)。这种简单的复合损失规约已经涵盖了乐观方法、补偿器、侧先验以及几种部分信息规约 [39 (https://arxiv.org/html/2607.08789#bib.bib39),15 (https://arxiv.org/html/2607.08789#bib.bib15),70 (https://arxiv.org/html/2607.08789#bib.bib70)]。一旦进行了这种规约，其余的分析仅依赖于诱导出的序列 \(c_t\) 和选择的先验。这种观点在需要根据序贯证据不断重新加权提议、动作或假设的设置中尤其自然。它支撑着乐观重复博弈 [39 (https://arxiv.org/html/2607.08789#bib.bib39),15 (https://arxiv.org/html/2607.08789#bib.bib15)]、在线和随机优化中的自适应步长选择 [22 (https://arxiv.org/html/2607.08789#bib.bib22)]，以及更近期的人类反馈强化学习 [59 (https://arxiv.org/html/2607.08789#bib.bib59)] 和语言模型相关后训练流程中的 KL 正则化策略更新，其中相同的 softmax 重新加权步骤控制着候选响应如何被序贯证据提升或抑制。

##### 与博弈论集中性的关系。 本文自包含，但相同的对象也具有互补的博弈论解释。一种互补的解读将贝叶斯/指数权重轮次视为一个单步博弈，其中学习器承诺一个分布 \(p_t\) 和一个温度 \(\eta_t\)，自然揭示出一个具有受约束单尺度累积量生成函数 (CGF) 的居中分数向量，最终收益是围绕先验的 KL 球的支撑函数。在这种解释下，每轮 CGF 增量就是这里分析的固有时间增量 \(Q_t(c)\)，对数配分函数值是第 2.2 节 (https://arxiv.org/html/2607.08789#S2.SS2) 的终端势能 \(A_t(\eta)\)，而精确的重调温漂移 \(D_T\) 是当温度变化时在固定尺度游戏之间切换的代价。因此，本文可简单地理解为路径依赖的信息核算演算；博弈公式是一个可选的二重视角。

一旦写成这种形式，先验扮演了两个角色。它初始化了更新，同时也充当比较器类别的解码器。对于集中在专家 \(i\) 上的点比较器，描述代价是 \(-\log \pi(i)\)；对于混合比较器 \(\rho\)，则是 \(\mathrm{KL}(\rho \| \pi)\)。因此，本文相对于实现序列和选择的解码器来衡量难度，而不是相对于任何假定的数据生成律 [36 (https://arxiv.org/html/2607.08789#bib.bib36)]。这在精神上更接近在线学习的预测复杂度和博弈论传统，即固定序贯预测规则，并询问实现路径对该规则有多难 [19 (https://arxiv.org/html/2607.08789#bib.bib19),73 (https://arxiv.org/html/2607.08789#bib.bib73),52 (https://arxiv.org/html/2607.08789#bib.bib52),43 (https://arxiv.org/html/2607.08789#bib.bib43),74 (https://arxiv.org/html/2607.08789#bib.bib74),67 (https://arxiv.org/html/2607.08789#bib.bib67)]。

### 1.1 共同机制：单步信息平衡
本文的核心是一个单一的单步恒等式。如果 \(q_t\) 是当前分布，\(q_{t+1}\) 是通过指数加权复合损失 \(c_t\) 产生的下一个分布，而 \(\rho\) 是任意比较器，那么：
\[
\langle q_t, c_t \rangle - \langle \rho, c_t \rangle = \delta_t(c) + \frac{\mathrm{KL}(\rho \| q_t) - \mathrm{KL}(\rho \| q_{t+1})}{\eta_t}
\tag{1}
\]
其中 \(\delta_t(c)\) 是该轮的即时支付：学习者的平均复合损失与当轮居中对数混合损失之间的差距。从左到右阅读，该恒等式表明超额损失精确地分解为现在付出的部分和转化为比较器信息差距减少的部分。目前尚未进行任何近似。

这个单步平衡是本文的基本核算报表。它适用于每个关于专家的贝叶斯更新，无论温度如何选择。在固定温度下，KL 项呈望远镜效应，给出熟悉的固定速率精确恒等式。当温度变化时，相同的单步平衡可以通过两种自然方式组合，具体取决于新温度如何进入更新。

### 1.2 组合相同更新的两种方式
一旦温度变化，就会出现两种自然的自适应更新。第一种是\*先验重调温更新\*，它在当前温度下从原始先验重新计算当前后验：
\[
p_t(i) \propto \pi(i) e^{-\eta_t C_{t-1}(i)} \qquad\qquad C_t(i) := \sum_{s=1}^t c_s(i)
\]
其精确分解 (定理 2.10 (https://arxiv.org/html/2607.08789#S2.Thmtheorem10)) 指出，对于每个比较器 \(\rho\) 和时间 \(T\)，
\[
R_T^c(\rho) = \underbrace{\sum_{t=1}^T \eta_t Q_t(c)}_{\text{固有时间支付}} + \underbrace{D_T}_{\text{温度变化漂移}} + \underbrace{B_T(\rho)}_{\text{终端比较器信息}}
\tag{2}
\]
这里 \(Q_t(c) \ge 0\) 是由更新自身揭示的精确轮次难度增量。累积量 \(V_T(c) := \sum_{t=1}^T Q_t(c)\) 是\*固有时间\*：由实现路径而非外部强加所暴露的不确定性时钟。

第二种是\*局部更新\*：
\[
p_{t+1}(i) \propto p_t(i) e^{-\eta_t c_t(i)}
\]
它仅从当前权重和当前分数向量更新。其精确累积恒等式 (命题 3.13 (https://arxiv.org/html/2607.08789#S3.Thmtheorem13)) 基于相同的单步支付 \(Q_t(c)\) 构建，但累积记账方式不同：它没有温度漂移项，而是产生一个精确的累积归一化恒等式，而对于比较器类，它自然地通过分配给事件或类 \(E\) 的终端质量 \(p_{T+1}(E)\) 来表达。实际区别反映了代数，两种更新各自适合不同的学习率调度。先验重调温更新自然与由累积固有时间驱动的单调二阶调度配对。局部更新自然与“压力目标”线搜索配对，该线搜索选择当前温度，使单步归一化损失达到预定目标。算法 1 (https://arxiv.org/html/2607.08789#alg1) 明确了这两个更新家族。在固定温度下，两种更新一致；在自适应速率下，它们真正分叉，尽管两者都由相同的单步信息平衡驱动。

算法 1 (https://arxiv.org/html/2607.08789#alg1) 展示了完整的 \(2 \times 2\) 设计空间。更新几何（先验重调温 vs 局部）和速率控制器（平方根时钟 vs 压力目标）是不同的选择。我们将四个单元格称为 Ret-Sqrt、Ret-Press、Loc-Sqrt 和 Loc-Press。本文主要的在线配对是 Ret-Sqrt 和 Loc-Press；两个交叉配对在第 3.1 节 (https://arxiv.org/html/2607.08789#S3.SS1) 中明确记录。

**算法 1** 自适应贝叶斯 \(2 \times 2\) 设计空间。行选择更新几何；列选择学习率控制器。
\[
q_{t,\eta}(i) := \frac{\pi(i) e^{-\eta C_t(i)}}{\sum_j \pi(j) e^{-\eta C_t(j)}}, \qquad A_t(\eta) := -\eta^{-1} \log \sum_i \pi(i) e^{-\eta C_t(i)}.
\]
这里 \(\Gamma > 0\) 是比较器复杂度预算，除非另有说明，平方根控制器使用定理 3.2 (https://arxiv.org/html/2607.08789#S3.Thmtheorem2) 中的优化值 \(C = 1/\sqrt{2}\)。精确的固有增量 \(Q_t(c)\) 在第 2.2 节 (https://arxiv.org/html/2607.08789#S2.SS2) 定义；\(V_t(c)\) 是精确的累积量时钟，而 \(W_t(c)\) 表示仅用作可选控制器或集中尺度的二次松弛。对于压力单元格，目标 \(a_t\) 是单轮自由能水平。在局部行中，线搜索是因果的，因为 \(p_t\) 在观察到 \(c_t\) 之前已固定。在先验重调温行中，由于当前动作分布本身依赖于温度，相同的线搜索自然设定了下一个温度 \(\eta_{t+1}\)。

### 1.3 固有时间的含义
(2) 的意义是直接的。遗憾的一部分，\(\sum_t \eta_t Q_t(c)\)，是所测量候选者上在线不确定性的累积代价。另一部分是改变更新强度引入的畸变，即 \(D_T\)。最后一部分是相对于先验指定比较器所需的信息，即 \(B_T(\rho)\)。因此，核心问题不仅在于遗憾能有多大，还在于实现序列如何分解为在线不确定性、调度引起的畸变以及比较器描述代价。本文尽可能长时间地保持这种精确变分形式：在特定调度相关的计算之前，主要陈述是恒等式或精确的双边包络，仅当精确项被有意松弛为更简单的在线代理时，单边不等式才会进入。

区分两个时钟很重要。精确的固有时钟是 \(V_t(c) := \sum_{s=1}^t Q_s(c)\)，其中每个增量 \(Q_s(c)\) 是更新实际支付的有限温度累积量。一个有用的二次松弛是 \(W_t(c) := \sum_{s=1}^t \tfrac{1}{2} \mathrm{Var}_{i \sim p_s} (c_s(i))\)，它只保留所玩分布的普通二阶统计量；系数 \(\tfrac{1}{2}\) 由小温度展开 \(Q_s(c) = \tfrac{1}{2} \mathrm{Var}_{i \sim p_s} (c_s(i)) + o(1)\) 决定，因此 \(W_t(c)\) 是 \(V_t(c)\) 的领先阶泰勒松弛。两者仅在低温极限下重合。可以通过任一时钟驱动调度，但只有 \(V_t(c)\) 出现在精确恒等式中；\(W_t(c)\) 是一个实用代理，而非实际付出的量。

第三个不同的对象仅出现在第 3.2 节 (https://arxiv.org/html/2607.08789#S3.SS2) 的集中性陈述中：采样鞅的\*可预测二次变差\* \(V_t^\sqcup := \sum_{s=1}^t \mathrm{Var}_{i \sim p_s} (c_s(i)) = 2 W_t(c)\)，它没有系数 \(\tfrac{1}{2}\)，因为它是增量比的 Bernstein 方差。