Odds-Ratio Thompson Sampling：一种基于对比的多臂老虎机规范与设计指南

# 对比坐标中的相同批次——每个 \hat{\beta}_{i,t} 都在其真实的平坦值（虚线）附近稳定波动。稳定性并不意味着估计相同；而是意味着散度大小与采样噪声所预测的相符。第4.2节在实际实验中展示了这一特征（图4）。来源：https://arxiv.org/html/2609.19709

## 基于比值比的汤普森采样：一种基于对比的多臂老虎机的规范与设计指南

Sulgi Kim
独立研究员 [email protected]

**摘要。** 批量多臂老虎机按照服务自身的调度进行更新，通常的实现方式是将每个臂的绝对奖励率从一次更新带到下一次。当批次间的共同水平发生变化时，即使臂之间的对比关系可能未变，这种记忆也会变得陈旧。而基于比值比的汤普森采样（OR-TS）则携带对数比值对比的联合后验分布，并在每个批次中重新拟合共同水平，将其边缘化。本文规范了该更新过程，将其置于带有两个控制参数的贝叶斯老虎机智能体中：衰减参数 \lambda 控制过去证据在更新中的保留程度，激进参数 \gamma 控制信念转化为分配的强度，并将其与基于绝对率的记忆进行对比评估。在86个公开的A/B测试序列中，水平的变化幅度大约是对比的25倍。在预定义的合成环境中，移动的水平使基于绝对率的记忆后悔值增加了5倍，并导致在20次运行中有7次最佳臂的流量占比低于50%，而OR-TS则没有出现这种情况。在一项基于71个真实实验构建的策略模拟中，当对比过小而无法分辨时，58个实验的期望点击差异保持在0.1%以内，但基于对比的记忆最终选择较好臂的次数仍是基于绝对率的记忆的两倍以上。然而，当对比本身发生移动时，这种方法就会失效，本报告也涵盖了这一情况。

图1：一个示意性实验，从两个角度观察：一个具有所选水平轨迹和固定对比的构造示例，即第3节中的水平变化环境；它并非拟合自真实实验。左图：三个臂的观测事件率几乎平行波动，因为一个共同水平主导了每条曲线。右图：在对比坐标中的相同批次——每个 \hat{\beta}_{i,t} 都在其真实的平坦值（虚线）附近稳定波动。稳定性并不意味着估计相同；而是意味着散度大小与采样噪声所预测的相符。第4.2节在实际实验中展示了这一特征（图4）。

**关键词。** 多臂老虎机；汤普森采样；A/B测试；自适应实验；选择性后验持久性；处理对比；比值比；逻辑回归；时间漂移；后验衰减。

### 1. 引言

**在线服务中的顺序决策。** 在线服务不断选择向用户展示哪个选项以及给予其多少流量。A/B测试在计划分配下比较这些选项（Kohavi 等，2020）；多臂老虎机（MAB）则根据累积证据调整它们的流量份额，即一种*自适应分配*（Lai 和 Robbins 1985；Bubeck 和 Cesa-Bianchi 2012）。教科书式的老虎机在每次观测后更新，但服务按照自己的时间表更新，因此本文探讨的是*批量*老虎机：一次更新服务于整个流量*批次*（第2节），而批次是服务的运营更新周期，通常是每日或每周（LaunchDarkly 2026b）。它也是比较的单位：其臂面临相同时间段的条件，因此后续批次可以继承的是比较关系，而非绝对率。当奖励能被及时观测且早期暴露对后续批次的影响可忽略不计时，从比较到自适应分配的步骤最为直接。在这种情况下，服务可以观测到对竞争选项（称为臂）的响应，更新其信念，并分配下一批次的流量。分配可以保持均衡，如A/B测试，也可以随着证据的积累而倾向于有潜力的臂。对于自适应分配，本文的目标是最小化*累积遗憾*，即相对于总是选择最佳臂所放弃的预期奖励（Scott 2010；Russo 等 2018）。我们使用汤普森采样，它为每个臂分配与其当前为最佳臂的概率相等的份额（Thompson 1933）。

即使没有来自早期暴露的后续影响，环境也可能在更新之间发生变化，导致这些概率背后的某些证据过时。*那么，什么应该被带到下一次更新中？*这就是本文要回答的问题；我们称老虎机携带前进的信念为其*记忆*。

**一个实验，两种描述。** 考虑一个在某工作日更新的双臂老虎机，臂1的事件率为10%，臂2为12%。通常的老虎机存储两个绝对事实：臂1为10%，臂2为12%。同样的观测也可以写成一个*当前水平*（臂1的率）和一个*相对效应*（臂2相对于臂1的*比值比*，约为1.23），在如此低的比率下，这接近从业者会引用的20%提升。两种描述包含相同的率和相同的排序；它们的不同在于坐标的含义，而周末的情况说明了为什么这很重要。假设事件是购买，并且周末带来了更多只是浏览而非准备购买的访客，将臂1的率降至5%，而比值比保持不变；那么臂2的率约为6.1%。存储的10%和12%不再描述当前水平，但比较仍然倾向于臂2，而比较正是下一次分配所需要的。图1在另一个三臂示例中描绘了这种区别。

**从比较到分配。** 处理对比参数化了臂之间的比较。此处的对比是对数比值的差，因此其指数是比值比。这指定了要学习的比较，即*估计目标*，是分析旨在学习的量；它在数值上不等同于速率差或平台报告的相对提升。参照编码的逻辑回归将一个臂（*参照臂*，任何臂都可以担任）的对数比值与其他臂相对于它的对比分开（Agresti 2003）。对比决定了用于分配的排序；将其转换为绝对奖励差还需要水平信息。然而，标准的老虎机实践是将关于每个臂的绝对奖励率的信念跨越周期。对于二元奖励，常见的实现方式是每个臂一个独立的Beta后验，我们称之为Beta-伯努利汤普森采样，即*Beta-TS*（Russo 等 2018）：每个臂两个计数器，易于部署，并且是代表性教程（Scott 2010；Chapelle 和 Li 2011；Russo 等 2018）和实验平台（Optimizely 2026a；LaunchDarkly 2026a； McKenzie 2020）中的默认选项，这些平台本身也警告时间相关的转化率可能扭曲分配（Adobe 2026）。因此，Beta-TS也携带了臂共享的背景水平，将其折叠进每个臂的后验中，并在整个运行期间保持固定，尽管每个臂为最佳臂的概率只需要关于相对效应及其不确定性的联合信念（第2.2节）。

**记住比较；重新学习基准。** 在每个批次内重新拟合共同水平，将其作为*干扰参数*边缘化（第2.2节），并将臂比较的联合后验带到下一次更新和分配。这就是基于对比的记忆规则。对于二元奖励和逻辑连接函数，比较是对数比值对比，对其取指数得到比值比；因此得名*基于比值比的汤普森采样（OR-TS）*，沿用自 Kim 和 Kim（2020）。用本文所称的*识别*和*行动*循环术语来说——识别更新奖励参数的后验，行动根据其进行分配（Åström 1965；Kaelbling 等 1998）——从一个周期携带到下一个周期的后验部分是该算法的*内部状态*，即上述所问的记忆。它的单位是批次：批次内臂共享的水平使得水平能够与臂效应分离（第2节）。本文规范了用于二元奖励的OR-TS，对其进行了评估，并使用来自真实世界实验的数据检验了其状态分离假设。在来自71个真实世界在线对照实验的86个变体与对照序列中，在每个序列中，共同水平的移动幅度都大于对比的移动幅度；在注册的共同冲击模拟中，Beta-TS在20次运行中有7次结束时最佳臂的流量占比低于50%，而OR-TS没有出现这种情况。记忆规则进一步扩展了两个显式控制参数，分别对应循环中随后的两个问题：*衰减* \lambda 控制记忆保留的程度，*激进性* \gamma 控制当前信念指导行动的强度（第5节）；两者都源于实际需求，图6绘制了由此产生的循环，任何贝叶斯老虎机都可以运行。

本文作为从业者和平台工程师的规范与设计指南，强调了状态的意义、运营更新及其假设和诊断，而将推导部分留给补充材料。比较区分了稳定环境、水平变化环境（水平变化但对比固定）和对比变化环境（对比变化）；第3节定义了这些情况。

**在平台中的位置。** OR-TS规范了批量二元奖励老虎机的流量分配更新。它假设记录的试验支持二项似然，臂在每个批次内共享一个合理的水平，并且历史对比在选定的记忆范围内保持有用。所研究的设置具有快速的结果和暴露之间可忽略的后续影响。表1显示了集成边界；补充D说明了平台必须提供什么以及如何恢复状态。

表1：迁移改变了什么。接口保持不变：相同的每批次计数输入，相同的获胜概率输出。内部，状态从 2K 个计数器增长到一个大约 K^2/2 个数的对比后验，并且该状态是从每批次的日志重建的，而不是从累计总数重建。补充D给出了计算成本和恢复规则。

***阅读路径。*** 要实现该方法，第2节（算法1和表1）、补充C（包含恢复的完整算法）和补充D（迁移）已足够；哪种方法适用于哪种情况见第7节的表2。证据在第4节和补充F中；推导在补充A和B中。

### 2. 流程

第2.1节追踪一次更新，从接收到的计数到下一次流量分配。算法1收集了这些步骤；第2.2节解释了为什么决策可以使用边缘对比后验。补充A给出了计算和初始化条件。

**问题设置：批量二元奖励老虎机。** 框内固定了符号和它所描述的一个周期。

**设置。** 一个批量二元奖励老虎机的一个周期
- K 臂，在批次 t 中活跃
- 批次 t：一个更新周期，且是比较的单位：其臂共享该时间段的条件
- \pi_{i,t}：批次 t 的流量中分配给臂 i 的份额，在批次关闭前保持固定；\sum_i \pi_{i,t} = 1
- p_{i,t}：臂 i 在批次 t 中未知的事件概率
- n_{i,t}, c_{i,t}：臂 i 的暴露数和事件数，在批次关闭时记录
- 边界 t：批次 t 关闭、策略更新、批次 t+1 开启的时刻；OR-TS的每一步都在此运行（图2）
- c_{i,t} \mid n_{i,t}, p_{i,t} \sim \operatorname{Binomial}(n_{i,t}, p_{i,t})
- \{ (n_{i,t}, c_{i,t}) \}_{i=1}^K \;\longrightarrow\; \mathcal{B}_t \;\longrightarrow\; \pi_{t+1}
- 此处 \mathcal{B}_t 是策略跨越边界时携带的信念状态。

基于实际发生的暴露进行条件化，给出了该似然，无论平台是为已知的批次大小设置整数配额 n_{i,t} \approx N_t \pi_{i,t}，还是以概率 \pi_{i,t} 将每个到达的单元路由到臂 i，因此下面的讨论不依赖于所使用的模式。每个臂只需要两个计数，而批次 t+1 期间观测到的结果只在下一次边界处影响路由。

#### 2.1 从参照编码到 OR-TS

在边界 t，平台提供每个臂的两个计数：刚刚关闭的批次的暴露数 n_{i,t} 和事件数 c_{i,t}。OR-TS 将一个逻辑回归拟合到这些计数以及从前一个边界携带的对比后验上，保留拟合后验的对比部分作为新状态，并从该状态中抽取样本来设定下一批次的流量份额。每个批次的计数只输入一次：更早的观测已经被总结在携带的后验中，因此它们的计数不会再次添加（补充D）。本小节的其余部分命名各个部分。

将臂索引为 1, 2, \ldots, K，并将其批次 t 的事件概率写成参照编码的逻辑形式（Agresti 2003）：
\operatorname{logit}(p_{i,t}) = \alpha_t + \sum_{j=1}^{K-1} \beta_j \mathbf{1}\{i=j\}, \quad i=1,\ldots,K. \tag{1}
这是对虚拟编码的臂指示变量进行的普通逻辑回归。臂 K 承载全零的指示行，是*参照臂*。这个名称仅意味着臂 K 是测量其他臂对比的原点：它不必是对照组、在任者或当前领导者，任何臂都可以担任，并且分配不依赖于选择了哪一个（补充B）。第1节的例子使用臂1作为原点。

截距 \alpha_t 是臂 K 的当前对数比值，也是批次 t 中所有臂共享的水平；每个系数 \beta_j 是臂 j 相对于该参照的对数比值对比，而 \boldsymbol{\beta} = (\beta_1, \ldots, \beta_{K-1}) 是联合对比向量。只有截距携带批次索引：每个边界都会拟合一个新的 \alpha_t，而 \boldsymbol{\beta} 是状态在批次间携带的单一向量。这将第3节的水平变化模型构建到更新中：\alpha_t 自由变化，\boldsymbol{\beta} 被携带。该状态是一个对象，而不是 K-1 个独立的比值比：所有对比及其协方差的联合后验。每个对比都是相对于同一个参照臂测量的，因此对比共享该臂的噪声并且是相关的；因此步骤 A1 将它们一起抽取，而每个臂的边际分布会错误地陈述获胜概率。补充B表明，这个单一对象可以通过线性映射相对于任何参照重新表达，或限制在任何臂的子集上。

**识别：携带对比，而非水平。** 批次 t 中新观测到的结果被聚合成暴露和事件计数 \{ (n_{i,t}, c_{i,t}) \}_{i=1}^K。在边界 t，识别将这些新数据与从前一个边界携带的联合对比后验 q_{t-1}(\boldsymbol{\beta}) 结合，该后验在基本实现中由一个均值为 \mu_{t-1}、精度为 S_{t-1}（协方差的逆）的高斯分布表示。它为 \alpha_t 赋予一个新的平坦先验，并形成 ( \alpha_t, \boldsymbol{\beta} ) 的联合后验。基本实现使用贝叶斯逻辑回归的标准拉普拉斯近似，在后验峰值处拟合一个高斯分布。