基于扩散的数据驱动品类优化

# 基于扩散的数据驱动产品组合优化
来源：https://arxiv.org/html/2608.11419

Xiaohui Jiang
单位：杜克大学生物统计与生物信息学系
Zhengwei Tong
单位：杜克大学计算机科学系
\{junyi\.liao, x\.jiang, zhengwei\.tong, ethan\.fang, vahid\.tarokh\}@duke\.edu
Ethan X\. Fang
单位：杜克大学生物统计与生物信息学系
Vahid Tarokh
单位：杜克大学电子与计算机工程系

###### 摘要

产品组合优化是收益管理中的一个基本问题，通常使用参数化选择模型（如多项 Logit \(MNL\) 及其变体）来处理。尽管这些模型能够带来可处理的公式化形式，但其性能对模型误设十分敏感，且往往难以捕捉复杂的客户行为。在本文中，我们提出了一种基于引导式离散扩散的模型无关产品组合优化框架。我们将产品组合表示为二进制向量，并通过学习到的逆向扩散过程进行随机搜索，从而避免显式的组合枚举。为了纳入决策目标，我们引入了一种奖励引导机制，利用期望收益的估计来偏置局部转移。这使得该方法在生成过程中能够有效平衡探索与利用。在实验上，我们表明所提出的方法能够 consistently 识别高质量的产品组合，并且在模型误设下保持鲁棒性，通常能在高维场景中恢复接近最优的解。此外，扩散的生成特性使得我们能够产生多样化的高性能产品组合，从而提供超越单一确定性解的灵活性。这些结果凸显了生成式建模作为数据驱动决策中组合优化的可扩展且鲁棒范式的潜力。

## 1 引言

产品组合优化（Assortment Optimization, AO）是运筹学、收益管理和在线平台中的核心问题（30 (https://arxiv.org/html/2608.11419#bib.bib28);34 (https://arxiv.org/html/2608.11419#bib.bib9);53 (https://arxiv.org/html/2608.11419#bib.bib23);35 (https://arxiv.org/html/2608.11419#bib.bib27);48 (https://arxiv.org/html/2608.11419#bib.bib34)）。在该问题中，决策者选择一个产品组合——即向顾客提供的产品子集——以基于顾客选择行为最大化期望收益或效用。该问题出现在广泛的应用场景中，包括零售商品陈列、在线推荐系统、广告投放和服务捆绑（15 (https://arxiv.org/html/2608.11419#bib.bib32);27 (https://arxiv.org/html/2608.11419#bib.bib33)）。随着数字平台规模扩大和产品目录增长，高效优化产品组合的能力对于经济效益和用户体验都变得日益关键。

尽管其实际重要性不言而喻，但在灵活或数据驱动的选择模型下，一般性的产品组合优化由于计算和统计两方面的复杂性而具有根本性挑战（21 (https://arxiv.org/html/2608.11419#bib.bib10);48 (https://arxiv.org/html/2608.11419#bib.bib34)）。从高层次来看，困难源于决策空间的组合性质：产品组合是商品集合的一个子集，可行选择的数量随产品数量呈指数增长。此外，由于替代效应，目标函数的结构进一步加剧了这一挑战——添加或移除单个产品可能显著改变所有其他产品的选择概率（54 (https://arxiv.org/html/2608.11419#bib.bib36);13 (https://arxiv.org/html/2608.11419#bib.bib37);8 (https://arxiv.org/html/2608.11419#bib.bib51)）。因此，优化地形是复杂且通常非凸的，使得在超出小规模实例后，穷举搜索或朴素优化变得不可行（35 (https://arxiv.org/html/2608.11419#bib.bib27);10 (https://arxiv.org/html/2608.11419#bib.bib35)）。

现有方法通常依赖参数化选择模型，例如多项 Logit（MNL）及其变体（30 (https://arxiv.org/html/2608.11419#bib.bib28);28 (https://arxiv.org/html/2608.11419#bib.bib30);29 (https://arxiv.org/html/2608.11419#bib.bib26);23 (https://arxiv.org/html/2608.11419#bib.bib53);14 (https://arxiv.org/html/2608.11419#bib.bib29)），这些模型能够带来可处理的公式化形式和专用算法。虽然在模型设定正确时有效，但这些方法存在两个关键局限。首先，它们对模型误设非常敏感，在存在异质性偏好或复杂替代模式时可能导致次优决策（54 (https://arxiv.org/html/2608.11419#bib.bib36);13 (https://arxiv.org/html/2608.11419#bib.bib37);4 (https://arxiv.org/html/2608.11419#bib.bib38);49 (https://arxiv.org/html/2608.11419#bib.bib54)）。其次，即使在参数化假设下，对于更丰富的模型以及大规模或带约束的场景，可扩展优化仍然具有挑战性（6 (https://arxiv.org/html/2608.11419#bib.bib55);20 (https://arxiv.org/html/2608.11419#bib.bib52);9 (https://arxiv.org/html/2608.11419#bib.bib56)）。

在离线场景中，这些困难更加突出，因为此时只能获得历史交互数据。在这种情况下，决策者既需要估计选择模型，又需要在不确定性下优化产品组合，这将统计与计算挑战叠加在了一起（11 (https://arxiv.org/html/2608.11419#bib.bib1);18 (https://arxiv.org/html/2608.11419#bib.bib3)）。因此，开发一种既计算高效又对离线场景中模型误设具有鲁棒性的通用方法仍然是一个开放挑战。

与此同时，基于扩散的生成模型最近已成为建模复杂高维分布的强大范式（19 (https://arxiv.org/html/2608.11419#bib.bib11);46 (https://arxiv.org/html/2608.11419#bib.bib12);47 (https://arxiv.org/html/2608.11419#bib.bib13);7 (https://arxiv.org/html/2608.11419#bib.bib31)）。除了在图像和文本生成方面的成功外，扩散模型还显示出作为随机优化器的潜力，能够探索结构化和组合解空间（51 (https://arxiv.org/html/2608.11419#bib.bib19);59 (https://arxiv.org/html/2608.11419#bib.bib21)）。通过迭代地细化带噪声的候选解，这类模型能够高效地导航复杂的能量地形，并产生多样化的高质量解。这种生成视角对产品组合优化尤为有吸引力：与其通过昂贵的优化例程搜索单一最优解，不如直接学习采样接近最优的产品组合。这种方法自然地平衡了探索与利用，并能在较短的计算预算内返回多个高质量解。

在本文中，我们提出了**基于扩散的数据驱动产品组合优化（Diffusion-based Data-Driven Assortment Optimization，D3AO）**，这是一个面向离线场景产品组合优化的生成式框架。我们的方法将产品组合视为离散的结构化对象，并通过扩散过程学习解空间中高奖励区域的建模。通过在生成过程中引入奖励引导的细化，D3AO 能够高效地产生多样化的近最优产品组合，无需依赖限制性的参数化假设，为传统优化流程提供了一种灵活且可扩展的替代方案。我们的主要贡献总结如下：

- **AO 的一种新生成式公式。**我们将产品组合优化建模为组合结构上的采样问题，并引入一个针对离散决策空间定制的扩散框架。
- **带隐式行为建模的离线优化。**我们的方法避免了显式的参数化选择模型估计，从而提升了在模型误设下的鲁棒性。
- **高质量产品组合的高效生成。**所提出的方法通过随机生成产生多个近最优解，避免了穷举组合搜索。
- **受控场景下的实证验证。**通过在合成基准上的实验，我们表明所提出的方法能够 consistently 识别高质量的产品组合，并在模型误设下表现出很强的鲁棒性。

### 1.1 相关工作

##### 产品组合优化。

产品组合优化已在不同顾客选择模型下得到广泛研究（30 (https://arxiv.org/html/2608.11419#bib.bib28);53 (https://arxiv.org/html/2608.11419#bib.bib23);23 (https://arxiv.org/html/2608.11419#bib.bib53);48 (https://arxiv.org/html/2608.11419#bib.bib34)）。一条主要的研究线集中在参数化模型上，如多项 Logit 及其变体，这些模型能够带来可处理的公式化形式和高效算法（28 (https://arxiv.org/html/2608.11419#bib.bib30);35 (https://arxiv.org/html/2608.11419#bib.bib27);14 (https://arxiv.org/html/2608.11419#bib.bib29)）。然而，这些方法可能对模型误设敏感，尤其是在存在复杂替代模式的情况下（54 (https://arxiv.org/html/2608.11419#bib.bib36)）。为了提高灵活性，后续工作考虑了放宽对顾客行为结构假设的非参数化和数据驱动模型（13 (https://arxiv.org/html/2608.11419#bib.bib37);4 (https://arxiv.org/html/2608.11419#bib.bib38)），但这通常以增加计算难度为代价。大量文献还进一步研究了在线产品组合优化，其中决策者在优化产品组合的同时序贯地学习顾客偏好，通常使用基于 bandit 的方法（35 (https://arxiv.org/html/2608.11419#bib.bib27);38 (https://arxiv.org/html/2608.11419#bib.bib45);17 (https://arxiv.org/html/2608.11419#bib.bib46);26 (https://arxiv.org/html/2608.11419#bib.bib47)）。最近，离线产品组合优化也得到了研究，其要求在没有主动探索的情况下从历史数据中做出决策（55 (https://arxiv.org/html/2608.11419#bib.bib2);11 (https://arxiv.org/html/2608.11419#bib.bib1);18 (https://arxiv.org/html/2608.11419#bib.bib3)），这进一步将统计不确定性与组合优化耦合在一起。与这些方法不同，我们采用生成式视角，直接学习从数据中产生高质量的产品组合。

##### 基于扩散的生成模型。

扩散模型（19 (https://arxiv.org/html/2608.11419#bib.bib11);46 (https://arxiv.org/html/2608.11419#bib.bib12);47 (https://arxiv.org/html/2608.11419#bib.bib13)）通过逐步去噪的过程为复杂分布建模提供了强大框架。虽然最初是为连续域开发的，但后续工作将扩散扩展到了离散状态空间（2 (https://arxiv.org/html/2608.11419#bib.bib4);50 (https://arxiv.org/html/2608.11419#bib.bib14)），从而能够应用于类别型和组合型对象。近期进展进一步引入了引导机制（3 (https://arxiv.org/html/2608.11419#bib.bib16);39 (https://arxiv.org/html/2608.11419#bib.bib15)），将生成过程导向期望的结果。在这些进展的基础上，基于扩散的方法已被应用于组合优化（51 (https://arxiv.org/html/2608.11419#bib.bib19);37 (https://arxiv.org/html/2608.11419#bib.bib20);59 (https://arxiv.org/html/2608.11419#bib.bib21);57 (https://arxiv.org/html/2608.11419#bib.bib18);1 (https://arxiv.org/html/2608.11419#bib.bib17)），通过随机生成来探索大型离散解空间。尽管实证结果很有前景，但其在离线产品组合优化中的应用仍未得到充分探索。

##### 离线学习。

离线学习研究如何在没有主动探索的情况下从历史交互数据中做出决策（52 (https://arxiv.org/html/2608.11419#bib.bib41);32 (https://arxiv.org/html/2608.11419#bib.bib43)）。该场景中的一个核心挑战是，在日志策略下只能观察到部分反馈，这会导致选择偏差、分布偏移以及动作空间覆盖不足（12 (https://arxiv.org/html/2608.11419#bib.bib40);25 (https://arxiv.org/html/2608.11419#bib.bib42)）。先前的工作通过离线策略评估和反事实学习来解决这些问题，旨在从日志数据中评估或优化决策规则（12 (https://arxiv.org/html/2608.11419#bib.bib40);52 (https://arxiv.org/html/2608.11419#bib.bib41);22 (https://arxiv.org/html/2608.11419#bib.bib50)）。离线强化学习的更近期进展进一步强调保守或悲观的方法，以缓解外推误差（16 (https://arxiv.org/html/2608.11419#bib.bib48);24 (https://arxiv.org/html/2608.11419#bib.bib49)）。虽然这些方法主要是在上下文 bandit 和强化学习中进行研究，但我们的场景还涉及组合离散动作和依赖于顾客选择的奖励，这使得离线产品组合优化更具挑战性（43 (https://arxiv.org/html/2608.11419#bib.bib44)）。

## 2 离线产品组合优化

##### 问题设定。

产品组合优化是收益管理和在线零售中的一个基本问题（34 (https://arxiv.org/html/2608.11419#bib.bib9);23 (https://arxiv.org/html/2608.11419#bib.bib53);33 (https://arxiv.org/html/2608.11419#bib.bib8)）。卖家拥有一组产品，必须决定向顾客展示哪个子集，以最大化期望收益。挑战来自于提供的产品组合与顾客选择行为之间的交互：提供更多产品会增加多样性，但同时也会引发替代效应，可能降低整体收益。形式上，令 \([N]=[N][N]=[N]\) 表示可用产品集合。**产品组合**定义为产品的非空子集，即 \(s\subseteq [N]s\subseteq [N]\) 且 \(s\neq \varnothing s\neq \varnothing\)。令 \(\mathscr{S}\subseteq 2^{[N]}\setminus\{\varnothing\}\mathscr{S}\subseteq 2^{[N]}\setminus\{\varnothing\}\) 表示可行产品组合集合（例如，受基数或业务约束），其中无约束情形对应 \(\mathscr{S}=2^{[N]}\setminus\{\varnothing\}\mathscr{S}=2^{[N]}\setminus\{\varnothing\}\)。一个产品组合优化问题由四元组 \(([N],\mathscr{S},p,r)([N],\mathscr{S},p,r)\) 指定，其中：

- \([N][N]\) 是可用产品集合。
- \(\mathscr{S}\subseteq 2^{[N]}\setminus\{\varnothing\}\mathscr{S}\subseteq 2^{[N]}\setminus\{\varnothing\}\) 是可行产品组合集合；
- \(p:\mathscr{S}\to\Delta([N]\cup\{0\})p:\mathscr{S}\to\Delta([N]\cup\{0\})\) 是一个**选择策略**，其中 \(p(\cdot\,|\,s)p(\cdot\,|\,s)\) 是定义在 \(s\cup\{0\}s\cup\{0\}\) 上的概率分布。该分布描述了顾客群体在面临产品组合 \(ss\) 时的选择行为。这里我们用特殊元素 \(00\) 增广 \([N][N]\)，表示**不购买**选项；
- \(r:\mathscr{S}\times([N]\cup\{0\})\to\mathbb{R}r:\mathscr{S}\times([N]\cup\{0\})\to\mathbb{R}\) 是奖励函数，其中 \(r(s,a)r(s,a)\) 表示在产品组合 \(ss\) 下选择商品 \(aa\) 时卖家获得的收益。我们假设 \(r(s,a)=0r(s,a)=0\) 对 \(a\notin sa\notin s\) 成立，且通常 \(r(s,0)=0r(s,0)=0\)。

在产品组合部署的单个回合中，交互过程如下：卖家向顾客提供一个产品组合 \(s\in\mathscr{S}s\in\mathscr{S}\)，顾客选择一个商品
\[
A\sim p(\cdot\mid s),\qquad A\in s\cup\{0\},
\]
其中 \(A=0\) 对应不购买的结果。卖家随后获得奖励 \(r(s,A)r(s,A)\)。因此，产品组合 \(ss\) 的期望收益由下式给出
\[
R(s)=\mathbb{E}_{A\sim p(\cdot\mid s)}[r(s,A)]=\sum_{a\in[N]\cup\{0\}}r(s,a)p(a\mid s)=\sum_{a\in s}r(s,a)p(a\mid s).
\]
也就是说，期望收益是在产品组合 \(s\) 下顾客选择分布的期望。