用于离散选择估计的表格基础模型

# 1 引言 来源：https://arxiv.org/html/2607.13314 \\TheoremsNumberedThrough\\EquationsNumberedThrough\\MANUSCRIPTNO \\TITLE 离散选择估计的表格基础模型 \\ARTICLEAUTHORS\\AUTHOR 刘柳，张丹\\AFF利兹商学院，科罗拉多大学博尔德分校 \\EMAILliu\.liu\-1@colorado\.edu, dan\.zhang@colorado\.edu \\HISTORY \\摘要 表格基础模型（TFMs）通过上下文学习对结构化数据进行预测，无需任务特定的估计。我们探究TFMs能否有效应用于离散选择——营销与运营中一个核心的需求估计框架，并发现直接应用TFMs性能有限。这种差距是结构性的：TFMs假设行间观测独立，而离散选择本质上是集合值（set-valued）的，并且受持久性消费者偏好异质性的影响。我们提出一种重新表述，在基于行的学习框架内同时编码选择集依赖性和个体异质性。在酸奶扫描面板数据上的评估表明，个体层面异质性的编码是预测准确性的主导驱动因素。最优的重新表述在保留对数似然上比层次贝叶斯估计高出8%，在命中率上高出3.6%，运行速度快16倍，这对大规模需求估计具有实际优势。在中数据量（每位消费者10–40次购买场合）情况下优势最大，此时参数化贝叶斯收缩对非典型消费者的估计扭曲最为严重。在总体选择数据上进行微调，为购买历史较浅的消费者提供了额外增益，因为此时上下文学习可用于条件化的个体特定信号有限。这些结果为更广泛地将基础模型应用于消费者选择问题建立了一种原则性方法。表格基础模型（TFMs）最近作为结构化、基于列的数据的强大预训练架构出现（Hollmann等人，2025 (https://arxiv.org/html/2607.13314#bib.bib1)）。就像文本领域的大型语言模型（LLMs）一样，TFMs在大量合成预测任务集合上训练一次，随后通过*上下文学习*应用于新数据集：正如LLM可以通过在推理时对提示中的指令或示例进行条件化来执行新任务，而无需重新训练，TFM通过将带标签的训练示例作为输入上下文来对新数据集进行预测，无需任何任务特定的参数估计或梯度更新。由于推理仅通过固定的预训练网络进行一次前向传播，TFMs计算量轻，且经验证据表明它们在各种表格基准上以最少的调整实现了具有竞争力的预测准确性。这些特性使其成为营销与运营中涉及结构化、列格式数据的实证应用的有吸引力的工具。离散选择模型（DCMs）是营销、经济学和运营管理中分析竞争选项间需求与消费者决策的核心实证框架。在随机效用范式下，选择集中的每个备选方案都与一个潜在效用相关联，观察到的选择源于集合内的效用比较。因此，选择概率是条件于选择集的组成的。经典模型，包括多项Logit、混合Logit和潜在类别规范，都需要明确的函数假设，并且通常通过可能涉及模拟和数值优化的基于似然的程序进行估计（Train，2009 (https://arxiv.org/html/2607.13314#bib.bib3)）。离散选择估计中的一个核心挑战是偏好异质性：消费者在品味上存在系统性差异，而个体层面的偏好参数通常无法从每人可获得的少量观测中识别：在联合分析研究中通常为十到二十个任务，在扫描面板数据中为几十次购买场合。层次贝叶斯（HB）方法已成为营销研究和商业实践中的主导解决方案（Rossi等人，2005 (https://arxiv.org/html/2607.13314#bib.bib55)）。HB建模了一个两层结构：个体偏好参数β_i\\bm\{\\beta\}\_\{i\}被假定来自一个总体分布，而观测到的选择是由个体层面的效用最大化产生的。通过马尔可夫链蒙特卡洛（MCMC）恢复个体参数的后验分布，得到的估计会向总体均值收缩，收缩程度与每位消费者的信息量成正比。其结果是支持细分、定位和下游优化的个体层面偏好估计。这些考虑提出了一个自然的问题：TFMs能否有效应用于离散选择问题，并且能否在不进行任何数据集特定估计的情况下匹配HB的预测性能？答案并不显然。选择数据的两个结构性特征与表格学习的行向归纳偏置存在张力，调和它们是我们要解决的核心挑战。第一个张力来源是离散选择的集合值性质。TFMs在行向监督学习范式下进行预训练，其中每个观测被视为独立的输入输出对。相比之下，离散选择本质上是集合值的：选择某个备选方案的概率是条件于选择集组成的，并且依赖于该集合内备选方案之间的比较。因此，给定选择任务中的备选方案构成了一个相互依赖的群体，通过替代模式和竞争相互作用联系在一起。此外，被选中备选方案的身份对于集合中备选方案的排序是不变的，这反映了选择集层面的排列不变性，而标准的表格表示并未强制这一点。因此，离散选择预测无法表达为孤立行的函数，而不明确考虑选择集的关联结构。第二个张力来源是消费者之间的偏好异质性。在大多数应用中，每个决策者观察到多个选择任务，这些选择由共同的潜在效用函数生成。因此，与同一个体相关的观测并非独立，而是反映了品味和替代模式中的持久异质性。这一特征与行向表格学习中隐含的池化预测设定形成对比，在后者中，所有观测被视为来自从特征到结果的单一同质映射。总之，离散选择数据本质上是关联性和条件性的，无论在选择集内部还是属于同一体的观测之间，都违反了行独立性。我们发现，直接将TFMs应用于离散选择数据会产生有限的预测性能，这并非由于模型容量不足，而是由于这种结构性错配。为了解决这个问题，我们提出了一种针对TFMs的离散选择预测的结构化重新表述，其中选择数据被表示为明确编码选择集依赖性和个体异质性的表格预测任务。我们表明，当这些结构特性被适当编码时，仅通过上下文学习应用的预训练TFMs在预测性能上匹配或超越HB，同时部署速度快得多。该重新表述包含两个主要组成部分。首先，一种选择集到表格的表示，通过集合感知和成对构造将集合值竞争转化为行级别的监督输入。其次，一种个体异质性编码，通过明确的受访者标识符特征或为上下文学习构建每位受访者任务来捕获消费者特定的偏好。我们进一步考虑基于排列的增强来近似替代排序的不变性。我们在酸奶扫描面板数据上评估这些表示，这是一个揭示性偏好数据集，其中消费者在真实市场条件下进行了重复的品牌选择。作为代表性的TFM，我们使用TabPFN（Hollmann等人，2023 (https://arxiv.org/html/2607.13314#bib.bib5), 2025 (https://arxiv.org/html/2607.13314#bib.bib1)），这是一个预训练Transformer，在中小型表格分类任务上达到最先进的准确性，同时在几秒内完成推理。分析将TabPFN与池化MNL和层次贝叶斯基准进行比较，跨越各种消费者的购买历史，分离选择集表示、消费者异质性编码和选择数据适应对预测性能的贡献。我们还评估了微调作为一种从TFM学习到的先验向总体选择感知先验过渡的途径，遵循第3节 (https://arxiv.org/html/2607.13314#S3) 中开发的框架。本文做出了三项贡献。首先，我们识别出离散选择问题与TFMs之间的结构性错配，源于选择数据的关联性和条件性以及表格学习的行向归纳偏置；我们进一步发展了一种统一的收缩视角，将HB和TFM上下文学习联系为相同自适应池化原则的实例，仅在偏好先验的获取方式上有所不同。其次，我们提出了一种针对TFMs的离散选择预测的结构化重新表述，展示了如何通过适当的数据表示和任务制定，在行向学习框架内编码选择集结构和消费者异质性。第三，我们提供了系统的经验评估，确立了三个发现：个体层面的异质性（而非选择集表示）是预测增益的主导来源；适当重新表述的TFMs在预测准确性上匹配或超越HB，同时计算成本大幅降低，且相对优势在中等数据量情况下最大；在总体选择数据上进行微调为购买历史稀疏的消费者提供了额外增益，因为这些消费者的上下文学习可用于条件化的个体特定信号有限。我们的分析并不将TFMs定位为结构性DCM的替代品；经典方法对于解释和反事实分析仍然至关重要。它也不是在精神上提出一种特定于任务的任务特定架构，即ML用于选择的方法，这些方法需要在焦点数据集上估计参数。相反，我们发现，当表示流程反映选择数据的结构特征时，固定的预训练模型可以作为HB的有效且轻量级的预测替代方案。本文的其余部分组织如下。第2节 (https://arxiv.org/html/2607.13314#S2) 回顾相关文献。第3节 (https://arxiv.org/html/2607.13314#S3) 介绍TabPFN基础的先验数据拟合网络（PFN）框架，通过收缩公式和统一的方法论进展建立与层次贝叶斯估计的联系，并区分上下文预测与微调。第4节 (https://arxiv.org/html/2607.13314#S4) 描述面板选择数据的两个结构性特征（集合值场合和持久性消费者异质性），这些特征激发了重新表述。第5节 (https://arxiv.org/html/2607.13314#S5) 介绍提议的重新表述以及相关的数据表示和任务构造。第6节 (https://arxiv.org/html/2607.13314#S6) 描述数据集、实验设计和实证结果。第7节 (https://arxiv.org/html/2607.13314#S7) 总结。附录A (https://arxiv.org/html/2607.13314#A1) 提供了一份自包含的HB框架说明。 ## 2 相关文献 本文借鉴并贡献于多个研究流。我们建立在离散选择建模传统之上，包括离散选择和用于消费者异质性的贝叶斯方法，并对机器学习用于需求估计和TFMs的文献做出贡献。在这些流中，现有方法要么施加参数结构（如层次贝叶斯），要么需要任务特定的估计（如ML用于选择的方法）；没有现有工作展示如何重新表述选择数据，使得预训练、免估计的模型能够尊重其关联性和异质性结构。我们依次回顾每个流，并相对于现有工作定位我们的贡献。 #### 离散选择模型。离散选择文献以随机效用框架为基础，其中观察到的选择源于选择集内的效用最大化（McFadden，1974 (https://arxiv.org/html/2607.13314#bib.bib20)）。多项Logit提供了选择概率的易于处理的封闭形式表达式；混合Logit通过允许系数在个体间连续变化来扩展这一点，捕获未观察到的偏好异质性。Revelt和Train (1998 (https://arxiv.org/html/2607.13314#bib.bib22)) 展示了该框架在重复消费者选择面板中的应用，McFadden和Train (2000 (https://arxiv.org/html/2607.13314#bib.bib21)) 确立了混合Logit族可以任意近似任何随机效用模型。Train (2009 (https://arxiv.org/html/2607.13314#bib.bib3)) 提供了这些模型及其基于模拟的估计的全面处理。潜在类别规范提供了连续异质性的离散替代方案（Kamakura和Russell，1989 (https://arxiv.org/html/2607.13314#bib.bib50)）。在产业组织领域，Berry等人 (1995 (https://arxiv.org/html/2607.13314#bib.bib24)) 引入了从市场层面数据估计的随机系数需求系统。Chintagunta和Nair (2011 (https://arxiv.org/html/2607.13314#bib.bib56)) 调查了DCM在营销中的应用；Berbeglia等人 (2022 (https://arxiv.org/html/2607.13314#bib.bib2)) 提供了零售环境下各DCM家族系统的经验比较。联合分析是离散选择的主要陈述偏好应用，其方法论传统始于Green和Srinivasan (1978 (https://arxiv.org/html/2607.13314#bib.bib45))，并由Louviere等人 (2000 (https://arxiv.org/html/2607.13314#bib.bib49)) 在随机效用框架内形式化。主导实践的贝叶斯异质性估计方法（见下文回顾）主要是在联合分析背景下开发的，但同样适用于揭示性偏好面板数据。我们的工作解决了一个跨两种设置都适用的互补问题：当表示被设计为反映离散选择的关联性和异质性结构时，预训练、免估计的模型能否作为选择数据的预测工具。 #### 偏好异质性与贝叶斯方法。在营销中，考虑到消费者异质性对于预测准确性和管理决策都至关重要。Lenk等人 (1996 (https://arxiv.org/html/2607.13314#bib.bib52)) 建立了用于联合分析的层次贝叶斯框架，表明通过共同的总体先验汇集观测，可以从太小而无法支持个体估计的设计中恢复个体层面的部分价值分布。Rossi等人 (1996 (https://arxiv.org/html/2607.13314#bib.bib53)) 展示了这种方法在扫描面板数据中的价值，Allenby和Rossi (1998 (https://arxiv.org/html/2607.13314#bib.bib54)) 开发并比较了层次贝叶斯和有限混合规范，提供了至今仍是个体水平偏好估计基准的统计框架。