估算双边市场中供给增量效应的因果机器学习方法
摘要
本文提出了一种因果机器学习方法,将双重/去偏机器学习与分层贝叶斯框架相结合,以估算额外供给对市场结果的增量影响,并以Airbnb作为案例研究。
arXiv:2606.30999v1 公告类型:新
摘要:在具有异质性产品的双边市场中,理解额外供给与市场结果(如市场总交易量或交易金额)之间的因果关系至关重要。本文研究了一种因果机器学习方法,用于估算跨产品细分市场的这种关系。我们以Airbnb市场为例,重点关注额外房源供给对总预订量的影响,但该方法同样适用于其他双边市场。我们的方法将双重/去偏机器学习与分层贝叶斯框架相结合,后者利用已有知识作为先验。通过利用地理空间文献中的产品细分相似性度量,我们为模型构建了易于处理且信息丰富的特征。我们发现,该模型能够对额外供给的市场回报提供合理的估计,并展现出强劲的样本外表现。
查看缓存全文
缓存时间: 2026/07/01 05:33
# 估算双边市场中的供应增量:一种因果机器学习方法
来源:https://arxiv.org/html/2606.30999
###### 摘要
在具有异质性产品的双边市场中,理解额外供应与市场结果(如总交易量或交易金额)之间的因果关系至关重要。本文研究了一种因果机器学习方法,以估算不同产品细分市场中这种关系。我们以Airbnb市场为例,重点关注额外房源供应对总预订量的影响,但该方法同样适用于其他双边市场。我们的方法将双重/去偏机器学习与分层贝叶斯框架相结合,该框架利用已有知识作为先验。我们通过借鉴地理空间文献中的产品细分市场相似性度量,为模型构建了易于处理且信息丰富的特征。我们发现,这种模型能够为额外供应的市场回报提供合理的估计,并且在样本外表现良好。
双边市场、增量、异质性处理效应、观测因果推断、双重机器学习、贝叶斯推断、地理空间方法
††© 2025 Airbnb, Inc. 保留所有权利。
## 1. 引言
双边市场面临的核心挑战是在异质性产品细分市场之间平衡供需。这对于市场优化产品特性以更好地服务市场双方至关重要。例如,Airbnb提供工具帮助房东选择和设定有竞争力的价格,以最好地满足房客的需求(Ye et al. (2018) (https://arxiv.org/html/2606.30999#bib.bib1))。
作为平衡供需这一全局难题的关键组成部分,理解不同房源细分市场中额外供应的增量价值十分重要。我们称之为供应增量。Sanchez Martinez et al. (2025) (https://arxiv.org/html/2606.30999#bib.bib2) 的一篇Airbnb博客文章将供应增量作为估算每个房源生命周期价值的一部分进行讨论。他们图1中的韦恩图展示了供应增量的概念,即某些房源实际上在多大程度上增加了总预订量,而不是蚕食了已有房源的预订量。粉色圆圈代表已有房源的预订总量,蓝色圆圈代表某些新房源带来的预订量。重叠部分代表蚕食——从其他房源转移到新房源的预订量——而蓝色圆圈的不重叠部分则代表新供应带来的新增预订量。一个房源细分市场的供应增量越高,意味着该市场需求此前未得到充分满足,而额外供应帮助满足了房客的需求。
图1. Sanchez Martinez et al. (2025) 的图1
参见图注
Sanchez Martinez et al. (2025) (https://arxiv.org/html/2606.30999#bib.bib2) 还指出了此类工作为何能更有效地服务社区的例子,例如找出有机会获得更多预订的房源细分市场,以及确定哪些营销活动为社区带来最大价值。
尽管衡量供应增量至关重要,但它面临着重大挑战。核心挑战在于我们无法观察到反事实:如果某些供应不可用,市场将会发生什么——进行随机化供应可用性的实验并不现实,而观测数据又受到内生性和替代效应的混淆。
* 实验在在线市场中历史悠久,如果操作得当,仍被视为因果推断的黄金标准。然而,随机分配供应通常不可行,因此我们需要使用观测数据,并分离出供应对预订量的影响。
* 使用观测数据的挑战在于房源供应和房客需求是内生的——更多的房东可能会在需求旺盛的房源细分市场中上架房源,从而在供应和预订量之间产生相关性,这通常会混淆供应与市场结果之间的任何因果关系。
* 不同房源之间的替代效应也给衡量正确的供应增量(而非蚕食)带来了挑战。当一个新房源可用时,它可能会从原本会预订其他房源的房客那里获得一些预订,我们需要从这种替代效应中分离出真正的增量。正如 SanCruz Martinez et al. (2025) (https://arxiv.org/html/2606.30999#bib.bib2) 也讨论到的,“考虑增量是困难的,因为我们从未观察到真实情况。虽然我们观察到每个房源的预订数量,但我们无法判断哪些预订是增量的,哪些预订是从其他房源蚕食来的。”
* 最后,我们不仅需要从整体上理解供应增量,还需要了解它如何在不同房源细分市场之间变化。一般来说,额外供应的影响可能在不同产品细分市场间存在显著差异,这需要能够捕捉这种异质性并提供异质性处理效应估计的灵活模型。
为应对这些挑战,我们将因果机器学习方法与分层贝叶斯框架相结合,并结合了基于地理空间文献的产品相似性度量。
* 为了减轻内生性并专注于分离出供应的因果影响,我们将有关每个房源细分市场需求和供应的丰富信号整合到双重机器学习框架中。在第一阶段,我们使用这些信号来解释供应和预订量的历史变化;在第二阶段,我们使用第一阶段模型的残差,在保持其他一切不变的情况下,分离出供应对预订量的影响。
* 我们的模型需要专注于驱动给定(狭窄)房源细分市场供应和需求的特征。因此,我们需要只关注与供需最相关的房源细分市场——将远处房源细分市场的数据纳入只会引入额外噪音。因此,我们借鉴地理空间文献,并纳入房源细分市场之间的相似性度量,以提高第一阶段的预测能力,并减少第二阶段异质性处理效应估计的方差。
* 最后,我们通过分层贝叶斯框架增强这种方法,该框架利用已有知识作为先验,同时利用新数据在有强烈数据信号偏离先验时更新我们的信念。
* 在双重ML模型的第二阶段,我们根据重要的市场和产品特征来估计异质性处理效应。这些使我们能够理解不同因素如何影响不同房源细分市场中额外供应的增量。
我们发现,这类模型能够为额外供应的市场回报提供合理的估计。尽管我们的讨论集中在Airbnb市场上,但我们开发的方法广泛适用于其他双边市场,在这些市场中,理解供应变化的因果影响很有价值。
## 2. 方法论
### 2.1. 模型函数形式
Sanchez Martinez et al. (2025) (https://arxiv.org/html/2606.30999#bib.bib2) 为估算Airbnb的供应增量奠定了基础,该方法基于Cobb-Douglas模型。Cobb-Douglas模型是一种广泛使用的生产函数,将产出与资本和劳动投入联系起来 (Douglas (1976) (https://arxiv.org/html/2606.30999#bib.bib3)),并且最近被用作匹配工人与职位空缺的匹配函数 (Petrongolo and Pissarides (2001) (https://arxiv.org/html/2606.30999#bib.bib4))。在市场供应增量的背景下,它模拟了供应、需求和市场结果(预订量)之间的关系,每个输入都具有恒定的产出弹性。前述博客文章应用该模型来估算房源供应增加如何影响总预订量,增量参数表示供应每变化一个百分点,预订量变化的百分比。
还有其他关于异质性产品市场中的需求和供应的结构性模型。例如,正如 Gandhi and Nevo (2021) (https://arxiv.org/html/2606.30999#bib.bib5) 所总结的,结构性模型通常采用离散选择框架,如Berry, Levinsohn, Pakes (BLP) 模型 (Berry et al. (1995) (https://arxiv.org/html/2606.30999#bib.bib6)) 或随机系数Logit模型,以捕捉消费者对差异化产品的偏好。这些模型通常会指定效用函数,施加关于替代模式假设,并使用广义矩估计等方法估计需求参数。
我们的方法对供应、需求和市场结果之间的关系施加了较少的严格函数形式假设。我们采取这种方法主要基于以下几个关键原因:
1. (1) 双重ML方法利用机器学习模型,允许变量之间存在更灵活的关系 (Chernozhukov et al. (2018) (https://arxiv.org/html/2606.30999#bib.bib7)).
2. (2) 它更好地控制了同时影响供应和预订量的混杂因素。
3. (3) 它可以适应变量之间复杂的非线性关系和交互作用,而无需预先指定函数形式。
4. (4) 它更有效地处理高维数据,纳入许多潜在预测变量。
5. (5) 这种方法也非常适合异质性处理效应,能够捕捉额外供应的影响如何在不同房源细分市场之间变化 (Kennedy (2022) (https://arxiv.org/html/2606.30999#bib.bib8)).
### 2.2. 双重机器学习模型设置
双重ML方法的工作原理是:首先在第一阶段使用其他特征预测供应和预订量,然后在第二阶段将残差预订量对残差供应进行回归。直观上,我们试图在考虑了其他因素(如供需紧张度、房源属性等)的潜在影响后,专注于供应对预订量的因果影响。
设 \( g \) 表示房源细分市场的一个宽泛分组,\( j \) 表示具体的房源细分市场,\( t \) 表示时间段。我们在产品细分市场 \( \times \) 时间段层面构建以下指标,并利用这些指标构建模型估计所需的数据。宽泛的房源细分市场分组 \( g \) 的定义方式是为了最小化蚕食,与 SanCruz Martinez et al. (2025) (https://arxiv.org/html/2606.30999#bib.bib2) 所考虑的房源细分市场相同。然而,对于更细分的房源细分市场 \( j \),不同细分市场之间的需求可能存在重叠,因此考虑它们之间的替代效应至关重要。
设 \( Y \) 表示结果(预订量),\( S \) 表示处理变量(供应),\( X \) 表示协变量,包括需求模式、房源特征、趋势和季节性。在双重ML模型的第一阶段,我们使用所有协变量来帮助解释观测到的供应和预订量的变化,以便在第二阶段专注于剩余未解释的变化。换句话说,我们首先基于相同的 \( X \) 预测 \( Y \) 和 \( S \),以便稍后估计残差 \( S \) 对残差 \( Y \) 的影响,从而在保持其他所有因素不变的情况下,分离出供应对预订量的影响。
双重ML的一个关键特性是它的“双重稳健性”——即使其中一个第一阶段模型被错误设定,只要另一个模型正确设定,估计量仍然保持一致和渐近正态。正如 Chernozhukov et al. (2018) (https://arxiv.org/html/2606.30999#bib.bib7) 所指出的,“需要明确估计两个组成部分以构建去偏估计量。然而,使用两个组成部分会产生额外的稳健性”(p. C5)。这种稳健性特性对于衡量供应增量特别有价值,因为它有助于将真实的因果效应与由共同需求驱动因素引起的相关性分离开来,即使是在供应或预订量模型可能未完美指定的情况下。
对于第一阶段模型的模型选择,我们根据验证数据的表现评估了各种算法。在所考虑的模型中,LightGBM (http://lightgbm.readthedocs.io/) 在预测结果 \( Y \) 和处理变量 \( S \) 方面表现出更好的样本外拟合效果,使其成为我们在双重ML框架中进行第一阶段预测的首选。
### 2.3. 时间序列数据划分
为了模型估计和验证,我们采用时间序列划分方法,而不是传统的随机交叉验证,以避免因不同房源细分市场共享季节性而导致过拟合。在处理像我们这样的时间序列数据时,这一选择至关重要,因为随机划分会破坏时间结构并导致数据泄露问题。时间序列数据表现出时间依赖性,使得邻近时间点的观测值相关,而随机划分会允许模型在训练期间“窥视未来”,导致过于乐观的性能估计 (Bergmeir et al. (2018) (https://arxiv.org/html/2606.30999#bib.bib9)).
### 2.4. 处理房源细分市场间的替代效应
如上所述,虽然我们可以忽略房源分组 \( g \) 之间的替代效应,但需要考虑房源细分市场 \( j \) 之间的潜在替代。因此,在预测房源细分市场 \( j \) 在第一阶段的 \( Y \) 和 \( S \) 时,除了房源细分市场 \( j \) 中的协变量 \( X \) (\( X_{g,j,t} \)),我们还考虑了同一分组 \( g \) 内其他房源细分市场 \( j \) 的协变量 \( X \) (\( X_{g,-j,t} \)),以及这些其他房源细分市场中的可用供应 (\( S_{g,-j,t} \)).
(1) \( Y_{g,j,t} = \alpha(t) + \tilde{\beta} S_{g,-j,t} + \lambda X_{g,j,t} + \tilde{\lambda} X_{g,-j,t} + \epsilon_{g,j,t} \)
(2) \( S_{g,j,t} = \delta(t) + \tilde{\theta} S_{g,-j,t} + \omega X_{g,j,t} + \tilde{\omega} X_{g,-j,t} + u_{g,j,t} \)
我们并非将所有房源细分市场视为独立的,而是通过一种地理空间方法利用这些关系,该方法纳入了房源细分市场之间的相似性度量 (Credit and Lehnert (2024) (https://arxiv.org/html/2606.30999#bib.bib10)). 地理空间方法利用了这样一个洞见:由于潜在的空间和基于特征的依赖性,彼此最相似的房源细分市场很可能具有相似的需求和供应动态模式。纳入房源细分市场之间的相似性度量可以改善第一阶段模型的预测,并减少第二阶段处理效应估计的方差。
### 2.5. 第二阶段:理解供应增量如何随房源细分市场变化
在第二阶段,我们将异质性处理效应参数化为 \( X \) 的函数。我们采用贝叶斯方法,利用已有的知识 (Sanchez Martinez et al. (2025) (https://arxiv.org/html/2606.30999#bib.bib2)) 作为先验,并且仅在有新的数据信号强烈提示偏离先验时更新我们的信念。
具体来说,我们估计一个分层模型如下,将异质性处理效应表述为房源分组水平随机效应与反映...的交互效应的组合相似文章
理解用户偏好与优化双边市场:以Airbnb为例
本文来自Airbnb,结合经济建模与因果推断,理解用户对价格的反应及偏好的差异,旨在优化双边市场中的定价工具与个性化服务。
Quota Marketplace:面向ML训练资源高效分配的动态定价
本文介绍了Quota Marketplace,这是一种基于市场的动态定价机制,已在Google部署,用于跨业务部门高效分配ML训练加速器,在异构工作负载价值下实现了帕累托效率和最大最小公平。
个性化因果追溯:一种人在回路中的方法
本文提出了一种人在回路中的个性化算法追溯框架,通过贝叶斯推断迭代逼近用户的因果模型,从而提高建议的可信度与成本效益。
Nous:试图提取并注入预测市场行为背后的认知
本文探讨了预测市场中人类认知多样性是否可以作为行为特征提取并注入到LLM智能体中。提取部分通过稳定特征部分可行,但提示级注入未能有意义地传递多样性,表明需要更深入的模型干预。
PUe: 基于因果推断的有偏正-无标记学习增强
本文提出PUe,一种用于有偏正-无标记学习的框架,使用归一化倾向得分和归一化逆概率加权来处理选择偏差,在非均匀标签分布下改进分类性能。