零售情报中的选择偏差校正

# 零售智能中的选择偏差校正
来源：https://arxiv.org/html/2608.26156
Spandan Ghose Chowdhury¹![[无标题图片]](https://arxiv.org/html/2608.26156v1/x1.png) ¹沃尔玛公司，美国加利福尼亚州 spandan\.ghose\.chowdhury@walmart\.com

###### 摘要

零售智能常常依赖于监控热门、高流转速度的产品，这可能会忽略利基产品的“长尾”，从而导致经济指标出现偏差。本模拟研究调查了通货膨胀估算中的选择偏差，并在多种数据生成过程中比较了校正方法。通过400次蒙特卡洛重复实验，涵盖四种情景（对齐的阶跃函数、平滑梯度、错位的断点和多项式关系），我们测试了具有五种规范的逆概率加权（IPW）方法与具有不同层数的分层法的稳健性。我们的研究揭示了加权方法在零售长尾情境中的根本局限：分层法在四种情景中有三种表现更优，即使边界有意与总体断点错位时，也能保持低于0.04个百分点的中位误差（比IPW高出116倍优势）。然而，在平滑的多项式关系下，采用样条倾向性模型的IPW方法表现更佳（中位误差0.007pp vs. 0.013pp），这表明了方法的情境依赖性。关键在于，即使是在具有完美结构知识的预言机IPW规范下，在阶跃函数情景中也达到了6.06pp的误差，而分层法仅为0.008pp。这反映的是积极假设（因果推断的一个基本要求）的违反，而非IPW方法本身在理论上的劣势。当选择概率差异巨大（90% vs. 1%）时，加权方法在其理论设计包络之外运作。这些结果表明，在存在严重积极假设违反的零售长尾分布中，分层法提供了一个更安全的工程选择。

## 1 引言

在数据驱动的零售行业，数据洞察对于战略决策至关重要。一种标准的行业实践是监控一组精选的热门产品列表，以衡量市场趋势，测量诸如品类层面的通货膨胀等指标。虽然在操作上高效，但这种方法通过系统性地排除大量流转速度较低的“长尾”产品，引入了显著的选择偏差。

实证证据和经济理论表明，利基产品的动态可能与非常热门的产品不同。“长尾”现象表明，虽然单个产品的重要性较低，但这些产品集体代表着相当大的市场动态。如果利基产品——由于规模经济、竞争压力差异、宏观经济变化或战略定价——经历了比被追踪的热门产品更高的价格波动或通货膨胀，那么选择性监控可能会系统性地误估真实的市场通货膨胀或相关的业务指标。

本研究采用全面的模拟方法，旨在严格量化这种偏差，并评估各种数据生成过程中的校正方法。我们的分析包括四种情景（对齐的阶跃函数、平滑梯度、错位的断点和多项式关系）下的400次蒙特卡洛重复实验，测试了五种IPW规范和三种分层配置。我们进行了完整的诊断评估，包括协变量平衡、权重分布和功效分析，以理解方法在不同条件下的性能。

我们的研究结果挑战了传统观念，同时承认了边界情况：分层法在四种情景中有三种表现更优，即使边界有意与总体断点错位时也能保持稳健性（比IPW高出116倍优势）。然而，在平滑的多项式关系下，采用灵活样条规范的IPW方法表现更佳（优势比1.9倍），表明没有一种方法能普遍占据主导地位。这些结果为从业者提供了基于证据的、情境相关的指导，以选择偏差校正方法。

## 2 相关工作

通过加权校正选择偏差源于抽样调查理论，特别是Horvitz-Thompson估计量[8 (https://arxiv.org/html/2608.26156#bib.bib9)]，它使用包含概率的倒数来提供无偏的总体估计。Rosenbaum和Rubin[15 (https://arxiv.org/html/2608.26156#bib.bib15)]通过引入倾向性得分——给定观测协变量的选择条件概率——扩展了这一框架。

IPW自此成为因果推断中的主要方法。Lunceford和Davidian[13 (https://arxiv.org/html/2608.26156#bib.bib19)]表明，分层法和IPW都可以调整混杂因素，但它们的相对性能取决于模型规范和协变量重叠。然而，IPW对“积极假设”高度敏感：当接近违反时——例如在零售数据集中，利基产品的追踪率比热门产品低几个数量级——权重会变得极端，导致高方差和不稳定的估计[3 (https://arxiv.org/html/2608.26156#bib.bib4)]。Matsouaka和Zhou[14 (https://arxiv.org/html/2608.26156#bib.bib20)]表明，在严重违反积极假设时，重叠权重、匹配权重和熵权重优于IPW修剪法，因为它们仅针对具有足够倾向性得分重叠的子总体。

King和Nielsen[10 (https://arxiv.org/html/2608.26156#bib.bib11)]认为，倾向性得分方法可能无意中增加不平衡性和模型依赖性，他们主张采用诸如分层法等粗化方法。Stuart[18 (https://arxiv.org/html/2608.26156#bib.bib17)]同样发现，分层法通常能实现类似的偏差减少，且对模型误设更具稳健性。

尽管存在这些争论，但在零售“长尾”分布内的实证比较仍然很少。本研究通过在严重选择不平衡条件下对应力测试这些估计量，填补了这一空白。

## 3 方法论

为验证我们的假设，我们进行了一项全面的模拟研究，包含三个关键组成部分：(1) 基线情景分析及完整诊断，(2) 在四种不同数据生成过程中的稳健性测试，以及(3) 每种情景下100次重复的蒙特卡洛模拟。该方法旨在已知真实值的情况下验证控制环境中的校正方法，同时确保研究结果不是设计选择的人为产物。

### 3.1 合成数据生成与理论依据

我们生成了不同规模（10,000 至 1,000,000 件商品）的合成数据集，以创建已知真实通货膨胀率的“真实场景”。基线情景包含100,000件商品，具有以下特征：

1.  **商品排名**：每件商品 i 获得一个排名 \(R_i \in \{1, 2, \ldots, 100,000\}\)，排名越低表示销售速度越高。
2.  **通货膨胀分配**：为真实通货膨胀率 \(Y_i\)（我们旨在测量的目标变量）创建了一个双峰通货膨胀分布：
    *   热门商品 (\(R_i \leq 20,000\))：\(Y_i = 2\%\)
    *   利基商品 (\(R_i > 20,000\))：\(Y_i = 10\%\)
    20,000件商品的阈值反映了经验性的零售模式：大约20%的商品通常产生80%的商品交易总额（GMV），这与零售运营中观察到的帕累托原则一致[1 (https://arxiv.org/html/2608.26156#bib.bib18)]。这20%代表了零售商积极追踪的高流转速度商品。
    **理论依据**：这种双峰结构反映了有据可查的市场现象：
    *   规模经济：高销量商品通常具有较低的边际成本和更具竞争力的定价
    *   薄弱市场的价格波动：销量较低的商品面临的竞争压力较小，更容易受到供应链中断的影响
    *   战略定价：零售商通常将热门商品用作“亏本引流商品”，同时在特色产品上保持较高的利润率
    为增加现实性，我们围绕这些基准率引入了随机变化。每件商品的真实通货膨胀率服从正态分布：\(Y_i \sim \mathcal{N}(\mu_{\text{segment}}, 0.5)\)，其中 \(\mu_{\text{segment}}\) 是细分市场的特定均值（热门商品为2%，利基商品为10%），0.5代表百分点的标准差。此噪声捕捉了每个细分市场内商品层面价格变化的自然异质性。
3.  **选择机制**：追踪商品 i 的概率为：
    \[
    P(T_i = 1 \mid R_i) = \begin{cases} 0.90 & \text{if } R_i < 20,000 \\ 0.01 & \text{otherwise} \end{cases} \quad (1)
    \]
    这创建了一个现实的场景，其中约18,000件热门商品和约800件利基商品被追踪（总计约18,800件被追踪商品）。

#### 3.1.1 对数据生成过程的稳健性

模拟研究中的一个重要考虑是确保结论不是设计选择的人为产物。为解决此问题，我们在四种具有不同经验驱动阈值的数据生成过程中测试了稳健性：

**DGP 1（阶跃/对齐）**：此基线情景反映了经验性的零售背景，其中高流转速度的“头部”商品（前20%）被优先追踪。对于排名 \(R_i < 20,000\)（前20%）的商品，选择概率 \(P(\text{tracked} \mid R_i) = 0.90\)，而对于流转速度较低的商品则降至0.01——这反映了零售商密集监控热门产品，同时零星抽样长尾。真实通货膨胀率 \(Y_i\)（非噪声，而是实际的结果变量）遵循：若 \(R_i \leq 20,000\)，则 \(Y_i \sim \mathcal{N}(2\%, 0.5)\)，否则 \(Y_i \sim \mathcal{N}(10\%, 0.5)\)，其中0.5是捕捉细分市场内异质性的标准差。分层法使用5个层，以20,000为间隔，与选择和通货膨胀的断点对齐。

**DGP 2（平滑梯度）**：选择遵循逻辑曲线 \(P(\text{tracked} \mid R_i) = 0.95 / (1 + \exp((R_i - 15,000) / 3,000))\)；通货膨胀率随排名平滑增加：\(Y_i \sim \mathcal{N}(2\% + (R_i / 100,000) \times 10\%, 0.5)\)。这测试了没有结构性断点的连续关系，反映了逐渐的市场细分而非离散类别。

**DGP 3（阶跃/错位）**：为测试分层法的最差情况性能，我们有意使所有结构元素错位：选择概率断点位于排名15,000，真实通货膨胀断点位于排名25,000，而分层边界设置在14k/28k/42k/56k/70k/84k（7层）。这些阈值无一重合，迫使分层法横跨自然的总体断点，而非与之对齐。这压力测试了分层法的优势是否仅仅是幸运边界对齐的产物。

**DGP 4（多项式）**：二次选择和通货膨胀函数：\(Y_i \sim \mathcal{N}(6\% + 4\% \times [(R_i - 50,000)/50,000]^2, 0.5)\)。这种U型通货膨胀模式测试了非线性的平滑关系，其中粗糙的分层边界无法像灵活的样条那样良好地近似连续曲率。

我们比较了五种IPW规范（线性、多项式、5节点样条、使用 \(I(R_i > 20,000)\) 虚拟变量的预言机模型）和三种分层配置（5层、7层、9层）。

### 3.2 逆概率加权（IPW）校正

我们按照Rosenbaum和Rubin[15 (https://arxiv.org/html/2608.26156#bib.bib15)]的方法实施了IPW校正，以创建一个伪总体，其中协变量分布（排名）独立于选择。设 \(T_i = 1\) 表示商品 i 被追踪，\(T_i = 0\) 表示否则。倾向性得分 \(e(X_i) = P(T_i = 1 \mid X_i)\) 通过逻辑回归估计：\(\text{logit}(e(X_i)) = \beta_0 + \beta_1 \cdot \text{Rank}(i)\)。每件被追踪的商品获得权重 \(w_i = 1 / \hat{e}(X_i)\)。

为缓解极端权重带来的方差[3 (https://arxiv.org/html/2608.26156#bib.bib4)]，我们通过乘以 \(P(T=1)\) 稳定了权重，并在第95百分位数处进行了修剪[11 (https://arxiv.org/html/2608.26156#bib.bib12)]。加权通货膨胀计算为：\(\sum_{i:T_i=1} w_i \cdot Y_i / \sum_{i:T_i=1} w_i\)。

### 3.3 替代校正方法

作为比较，我们实施了：(1) 分层法：基于排名的5个层，使用加权平均值；(2) 倾向性得分匹配：1:1最近邻匹配；(3) 回归调整：控制排名和追踪状态的线性回归；(4) 朴素法：被追踪商品的未加权平均值。

### 3.4 倾向性得分模型诊断

我们使用排名的标准化均值差（SMD）评估倾向性得分模型的平衡性：\(\text{SMD} = (\mu_{\text{tracked}} - \mu_{\text{untracked}}) / \sqrt{(\sigma^2_{\text{tracked}} + \sigma^2_{\text{untracked}})/2}\)。成功的平衡要求 \(\text{SMD} < 0.1\) [2 (https://arxiv.org/html/2608.26156#bib.bib3)]。我们还计算了有效样本量（ESS）以量化信息损失：\(\text{ESS} = (\sum w_i)^2 / \sum w_i^2\)。

### 3.5 蒙特卡洛模拟设计

我们使用不同的随机种子重复基线情景1,000次，计算所有方法的偏差、方差和均方误差（MSE）（偏差² + 方差）。全面的稳健性分析（第3.2节）在四种不同的数据生成过程中，每种情景使用了100次重复。

## 4 结果

我们分三部分呈现结果：具有完整诊断的基线情景、蒙特卡洛模拟结果，以及四种数据生成过程的稳健性测试。

### 4.1 基线情景：方法比较

基线模拟（100,000件商品，90%/1%追踪概率，2%/10%通货膨胀率）得出以下估计值：

**表1：基线情景结果。**
**关键发现**：在基线情景中，分层法达到了近乎完美的准确性（0.016 pp误差），显著优于其他方法。IPW比朴素法略有改善（6.057 → 5.849 pp），绝对误差减少了3.4%。匹配和回归调整显示中等性能。

### 4.2 诊断分析

#### 4.2.1 协变量平衡评估

**表2：协变量平衡诊断。**
尽管进行了加权，SMD仍比推荐阈值高出22倍，表明存在严重的残余不平衡和模型误设。从2.420降至2.197仅代表9.2%的改善，远低于达到0.10阈值所需的95.5%的降幅。

#### 4.2.2 权重分布统计

**表3：IPW权重分布统计。**
**关键观察**：修剪前，最大权重达到163,509——几乎是中位数的100万倍。这种极端范围（最大值/中位数比率：681,289:1）表明存在严重的重叠违反。在第95百分位数处修剪权重显著提高了稳定性，将最大值/中位数比率从681,289:1降至1.75:1，并将ESS从被追踪样本的0.5%提高到93.5%。

### 4.3 蒙特卡洛模拟结果（基线情景：1,000次重复）

为量化基线情景中的估计变异性，我们将其重复了1,000次。每次重复使用 \(n = 100,000\) 件总商品，进行随机选择（概率：90%