三位一体世界模型：用于营销干预的能量一致性、预测与反事实推断

# 三合一世界模型：面向营销干预的能量基一致性、预测与反事实推断
来源: https://arxiv.org/html/2605.07199
###### 摘要

营销决策反映了潜在消费者异质性、时变内部状态和显式干预之间的相互作用，而当前的预测导向和语言导向模型并未以一种统一的方式捕捉这种结构。我们提出了一种“三合一”世界模型架构，其中深度玻尔兹曼机（DBM）从人口统计学特征、时间和滞后动作及结果中学习冻结的信念表示，并在其顶部连接轻量级的特定任务适配器。相同的信念支持单个框架内的三个任务：（i）通过 DBM 的自由能进行基于能量的一致性评估，（ii）通过适配器进行结果预测，以及（iii）通过固定信念并仅改变提供给适配器的动作输入来进行反事实推断。在一个受控模拟中，每个消费者的潜在价格敏感度、促销响应度和基础偏好都是已知的，我们展示了适配器在访问和购买 AUC 上匹配强大的 MLP 基线，同时在恢复异质性治疗效应方面显著优于基于相同原始特征构建的 S-learner、T-learner、X-learner、DR-learner 元学习器和因果森林（Causal Forest）基线，其中差距最大的是在有混淆的价格-促销干预上。此外，自由能钳位系统地惩罚那些缺乏先前促销暴露的反事实购买轨迹，且这种惩罚本身取决于预期的方向上的潜在基础偏好。这些结果表明，DBM 信念以能够经受住反事实查询的形式解耦了潜在特征，为营销干预提供了集成的世界模型基础。

*关键词* 世界模型 · 深度玻尔兹曼机 · 基于能量的模型 · 反事实推断 · 营销干预

## 1 引言

### 1.1 背景

大型语言模型（LLMs）近年来取得了显著进展。自 Transformer 架构[1]引入以来，该领域见证了自回归语言模型的快速扩展，如生成预训练 Transformer（GPT）[2, 3, 4, 5]，其性能随着模型和数据规模的增大而可预测地提升[6]。这些模型如今在广泛的任务中表现出惊人的能力，但它们的成功从根本上依赖于文本序列上的下一个 token 预测，这种范式缺乏用于因果推理或内部世界表示的显式机制[7]。

与这种 token 级预测不同，世界模型——即学习环境动态的内部表示以进行预测、规划和推理的系统——作为一种互补范式受到了越来越多的关注[8, 7]。最近的理论提议[7]和经验进展[8, 9, 10]将世界模型定位为超越自回归生成局限性的有前途的途径。这一观点在更广泛的讨论中得到了共鸣：例如，Yann LeCun 将自回归 LLMs 描述为“注定失败”，因为它们无法对因果关系进行建模[11]，而 Demis Hassabis 强调，通用人工智能（AGI）需要能够理解物理现实的世界模型[12]。

迄今为止，世界模型主要在物理环境的背景下被探索（例如，机器人控制[8]和视频生成[10, 11]），其目标是模拟和预测与真实世界的互动[12]。然而，世界模型的核心前提——学习支配顺序观察的潜在动态——同样适用于行为领域。例如，在消费者行为中，购买决策源于潜在个体特征、时变状态和营销干预之间的相互作用，这是一个需要世界模型为物理系统提供的同类内部表示的动态过程。

因此，本文提出了一种具有多个特定任务适配器的世界模型架构，该架构捕捉消费者行为的结构，并在单一框架内支持预测、一致性评估和反事实推断。我们使用模拟数据评估提出的模型，其中可获得真实反事实结果以对因果效应恢复进行严格评估。本文其余部分组织如下。第 2 节回顾相关研究以阐述研究空白。第 3 节介绍所提出模型的架构和算法。第 4 节进行三项基于模拟的实验以展示所提出模型的性能。最后，第 5 节总结研究结果、意义和局限性。

### 1.2 贡献

本研究做出了四项贡献。

##### 世界模型在营销中的应用。

我们将世界模型范式[8, 7]引入营销领域，将消费者与环境动态——人口统计学、时间、滞后干预和滞后结果——视为需要学习其潜在结构的系统。所得模型仅在可见层使用滞后特征，无需递归连接，即可捕捉时变消费者状态，同时保留了[8]中描述的重型世界模型与轻量级下游模块之间的不对称性。

##### 基于能量的一致性评估。

通过采用 DBM 作为世界模型，所提出的框架可以通过其自由能为输入模式的一致性评分：低自由能表明人口统计学、历史和观察到的行为的配置在学习到的分布下是合理的，而高自由能则标记不合理的场景。与[13]中的静态共现模型不同，此处的一致性检查适用于包括滞后动作和结果的时序扩展轨迹。

##### 通过信念表示进行预测。

由所有隐藏层激活拼接而成的信念向量作为一个冻结的、与任务无关的基质，在其上为每个下游任务训练紧凑的 MLP 适配器。经验上，这种两阶段设计与在原始特征上端到端训练的 MLP 的测试集 AUC 相匹配，表明 DBM 执行的降维并未牺牲预测能力。

##### 反事实推断。

由于当期干预向量仅提供给适配器而不提供给 DBM，可以通过固定信念并切换动作输入来获得反事实结果。这产生了个体层面的 CATE 估计，在本文研究的受控模拟中，比操作相同原始特征的 S-learner、T-learner、X-learner、DR-learner 元学习器和因果森林基线更准确地恢复了价格敏感度和促销响应度的真实异质性。

## 2 相关研究

### 2.1 大型语言模型

基于第 1 节的背景，我们在此回顾 LLMs，重点关注其实际应用及其与世界模型的关系。通过对大规模语料库进行下一个 token 预测，LLMs 获得了广泛的语言和推理能力，这些能力可迁移到各种下游任务中[4, 14, 15, 16]。

在实际应用中，特别是在营销领域，LLMs 主要应用于以文本为中心的任务，如情感分析[14]、评论生成[17, 18]和消费者模拟[19, 20]。虽然这些应用利用了 LLMs 的语言流畅性，但它们并未解决消费者动态的结构建模问题——即本研究关注的潜在异质性、时变状态和干预效应。

一个核心的开放问题是，LLMs 是否仅通过语言建模就隐式地习得了世界模型。一些证据表明，LLMs 可以发展出对环境状态的内部表示。关于棋盘游戏的一条代表性研究始于 Othello-GPT[21]，证明了在世界表示在没有关于游戏规则的任何先验知识的情况下在合成任务中涌现[22, 23, 24]。

其他研究专注于 LLM 驱动的智能体模拟，展示了类似于世界模型某些方面的新兴社会行为[25, 26]。然而，如果没有额外的架构约束，这些表示仍然是隐式的，与语言知识纠缠在一起，并不直接支持因果或反事实推理[7]。

更根本的是，越来越多的批评质疑流畅生成是否等同于真正的理解。Bender 和 Koller[27]认为，仅基于语言形式训练的系统无法获得意义，因为从形式到交流意图的映射仅由文本决定是不充分的。Bender 等人[28]进一步将 LLMs 描述为“随机鹦鹉”，它们复现训练数据中的统计模式，而没有 grounded 的理解。这些批评表明，无论规模多大，下一个 token 预测可能不足以构建真正代表世界如何运作的模型——这激发了显式世界模型的发展。

### 2.2 世界模型

#### 2.2.1 世界模型的两大主要趋势

作为 LLMs 的互补范式，世界模型重新获得了关注[12, 29]。该领域涵盖两大主要流派：基于强化学习的方法[8, 30]和基于表示学习的方法[7, 10, 9]。在本研究中，我们借鉴了这两个流派的想法。

首先，Ha 和 Schmidhuber[8]引入了一种基于 RNN 的世界模型，通过状态预测学习环境动态，包括视觉（VV）、记忆（MM）和控制（CC）模块。MM 根据当前时间 $t$ 的潜在状态和动作预测时间 $t+1$ 的潜在状态，而 CC 基于所得表示选择动作。一个关键的设计原则是组件之间的不对称性：CC（867 个参数）比 VV（4.3M）或 MM（0.4M）小几个数量级，并且 CC 仅在 VV 产生的抽象表示 $z$ 上操作。这表明，如果世界模型捕捉了足够的结构，下游控制器不需要很大。

其次，联合嵌入预测架构（JEPA）系列工作[9, 10]通过在抽象嵌入空间中学习世界模型来操作化 LeCun 的愿景[7]，证明了无需像生成方法那样重建像素级细节即可捕捉有意义的结构。该框架的核心是使用基于能量的模型（EBMs）[31]，其中能量函数区分合理与不合理的配置，作为世界模型的基础：低能量表示合理模式，而高能量表示不合理模式。这一特性对于世界模型特别具有吸引力，因为能量景观提供了评估输入一致性的内置机制——这一能力已被用于异常检测[32]以及最近用于受认知启发的世界模型[33]。

#### 2.2.2 深度玻尔兹曼机

深度玻尔兹曼机（DBM）[34]是一种代表性的 EBM，它堆叠多层受限玻尔兹曼机（RBM）[35, 36]，每个 RBM 都是一个无向二分模型，其层内独立性实现了高效推断。DBM 通过贪婪的逐层预训练单个 RBM 然后跨所有层进行联合微调来训练[37]。作为生成模型，DBM 为每个可见和隐藏单元的配置分配能量，其自由能（FE）为输入模式符合学习到的分布的程度提供了合理的评分。

Niimi[13]采用 DBM 作为世界模型，并结合适配器和 GPT-2[3]构建消费者评论生成模型。通过将世界模型与语言模型分离，该研究表明（i）基于能量的连贯性仅由 DBM 评估，（ii）通过世界模型的条件化使小语言模型能够生成流畅且语义连贯的文本，以及（iii）通过钳制 DBM 的输入向量可以进行干预生成。然而，该模型仅限于变量之间的静态共现，无法捕捉单个消费者内部时变动态。

几项研究已将 RBM 扩展以处理时间序列数据[38, 39, 40, 41, 42]。这些扩展主要设计用于音乐作曲和动作捕捉等顺序生成任务，其中建模给定历史的下一个观察条件的分布是自然目标。条件 RBM（CRBM）[38]通过使用过去观察来调制每个时间步长的偏差来实现这一点，而具有...