SimGym：基于流量锚定的VLM智能体实现电商A/B测试模拟框架

# SimGym：基于流量驱动的VLM智能体的电商A/B测试模拟框架
来源：https://arxiv.org/html/2605.19219
Han Li, Vibhor Malik, Zahra Zanjani Foumani, Alberto Castelo, Shuang Xie, Ailin Fan, Keat Yang Koay, Yuanzheng Zhu, Meysam Feghhi, Ronie Uliana, Zhaoyu Zhang, Angelo Ocana Martins, Mingyu Zhao, Francis Pelland, Jonathan Faerman, Nikolas LeBlanc, Aaron Glazer, Andrew McNamara, Zhong Wu, Lingyun Wang Shopify Bellevue, Washington, USA

###### 摘要

A/B测试仍是评估电商店铺前端修改的金标准，但它会分流流量、需要数周才能达到统计显著性，并可能降低用户体验。我们提出SimGym，一个使用在实时浏览器中运行的视觉语言模型（VLM）智能体来模拟电商店铺前端A/B测试的框架。该框架包含三个关键组件：(a) 一个基于流量驱动的人物角色生成流水线，从生产点击流数据中推导出每个店铺的买家原型和意图；(b) 一个实时浏览器智能体架构，结合了对视觉和浏览器结构化观察的多模态感知、情景记忆和防护措施，以在对照组和处理组的店铺前端之间进行连贯的购物会话；(c) 一个评估协议，将模拟结果变化与真实买家行为的观察变化进行比较。我们在一个主要电商平台的视觉驱动UI主题变更A/B测试上，跨多个不同的店铺前端和产品类别对SimGym进行了验证。实证结果表明，SimGym智能体与观察到的结果变化高度一致，在真实买家流量中跨不同界面变体观察到的加购变化方向上实现了77%的一致性。它将实验周期从数周缩短至不到一小时，使得无需让真实买家接触候选变体即可进行快速实验。

## 1 引言

A/B测试仍是评估电商店铺前端修改（包括UI和主题变更）的黄金标准，同时能实现直接影响转化率和收入的数据驱动决策。然而，传统的A/B测试常常带来巨大成本。将流量分流到实验变体使真实用户暴露于可能不佳的体验中；达到统计显著性通常需要数周的数据收集；失败的处理方案在检测并回滚之前可能已经损害客户体验。这些限制在实践中使商家更加规避风险：他们往往倾向于增量式、低风险的变化，而不是测试可能对转化产生重大影响的激进重新设计，这限制了创新并阻碍了业务增长。

解决上述挑战引出了一个自然的问题：能否在将这些变体暴露给真实客户之前，使用合成买家来预测试界面修改？基于大型语言模型（LLM）和视觉语言模型（VLM）的智能体的最新进展使得这种可能性越来越现实。近期研究表明，这类智能体能够导航复杂的在线界面并在不同的浏览器环境中执行多步骤任务（Zhou等人，2023；Deng等人，2023；Chezelles等人，2024；Pan等人，2024）。与此同时，基于人物角色和条件配置的智能体开始展现出更真实的用户行为模式（Park等人，2023；Wang等人，2023；Zhang等人，2024）。VLM进一步强化了这一趋势，使智能体能够对渲染后的网页进行推理，而不仅仅依赖文本页面结构，从而缩小了智能体感知与真实购物者视觉体验之间的差距。在电商和设计评估场景中，诸如PAARS（Mansour等人，2025）、Shop-R1（Zhang等人，2025）和Customer-R1（Wang等人，2025c）等系统表明，智能体行为可以与历史客户数据对齐，而AgentA/B（Wang等人，2025a）、UXAgent（Lu等人，2025）和SimAB（Rieder等人，2026）则在使用条件化人物角色的LLM智能体进行合成实验和可用性测试方面迈出了进一步步伐。

尽管取得了这些进展，现有工作仍然存在两个重要的局限性。首先，之前的研究尚未建立一个在真实电商环境中进行合成A/B测试的端到端框架。这样的框架必须包含三个关键组件：(a) 一个人物角色生成流水线，将合成买家基于观察到的流量和人物角色分布，确保模拟人群反映真实用户的异质性；(b) 一个稳定的基于浏览器的交互环境，智能体行为可以在与实际客户相同的实时界面条件下进行评估；(c) 一个可靠的评估模块，用于在界面干预下验证模拟结果。虽然先前的研究仅孤立地处理了这些组件（Mansour等人，2025；Zhou等人，2023；Chezelles等人，2024；Wang等人，2025a；Lu等人，2025；Rieder等人，2026；Wang等人，2025c），但并未将它们整合到一个统一的框架中。因此，该领域仍然缺乏在真实电商用例上进行合成A/B测试的严格基础。

其次，端到端模拟工作流的实际效用取决于合成智能体预测真实用户对界面变化的响应的能力。然而，先前的工作并未在异质性的真实电商环境中展示这种预测有效性。具体而言，现有方法主要关注标准化的离线基准测试，如WebShop（Yao等人，2022）和ShoppingBench（Wang等人，2025b），对点击流轨迹的行为相似性分析（Sun等人，2025；Wang等人，2025c），没有实时浏览器交互或幅度验证的静态截图A/B模拟（Rieder等人，2026），或没有对测量到的人为干预效果进行验证的实时浏览器可用性模拟（Lu等人，2025）。因此，这些方法都没有彻底评估模拟结果是否与真实店铺级A/B干预下的观察变化一致，留下了一个关键缺口：一个智能体可能在导航层面表现得合理，但仍然无法预测实际的转化变化，从而为真实电商应用中的预测试决策提供的价值有限。

参见图注

图1：SimGym框架概述。在本文中，我们提出SimGym，一个A/B测试模拟框架，其中VLM驱动的浏览器智能体，基于商家观察到的客户分布，自主浏览同一在线店铺前端的两个变体。与先前在静态数据集上运行的离线模拟方法不同（Wang等人，2025b；Zhang等人，2025），SimGym智能体在完整的浏览器环境中与实时店铺前端交互，需要实时多模态感知、记忆管理和动作执行。通过聚合智能体行为和决策轨迹，SimGym产生比较指标，量化界面变化（如视觉驱动的主题变化）如何影响加购（A2C）性能。图1（图1）展示了端到端框架。我们总结贡献如下：

- • 我们提出了一个端到端框架SimGym，用于使用VLM驱动的浏览器智能体进行合成A/B测试模拟和评估。该框架完全模块化，其组件可以独立定制、替换或扩展。
- • 我们引入了SimGym的一项新颖技术实现，结合了基于流量驱动的合成买家构建流水线与多模态实时浏览器智能体架构。流水线将生产点击流转化为特定店铺的买家原型和购物意图，而智能体架构则整合了视觉观察、文本网页表示、情景记忆和执行防护措施，以支持跨多样真实世界店铺前端的一致、人物角色驱动的购物行为。
- • 我们通过将模拟预测与观察到的人类行为结果进行比较，在生产电商平台的真实世界、视觉驱动的主题变化用例上验证了该框架。实证评估表明，跨不同店铺前端和产品类别，模拟结果变化与观察结果变化之间存在强方向一致性和相关性。

## 2 SimGym框架

如图1所示，SimGym框架包含三个关键组件：(a) 基于流量驱动的人物角色生成流水线（第2.1节）；(b) 多模态实时浏览器智能体架构（第2.2节）；(c) 评估协议（第2.3节）。SimGym完全模块化，每个组件可以独立定制或扩展。

### 2.1 人物角色生成

人物角色生成流水线通过一个六阶段过程，从特定商家的点击流轨迹中推导出一个合成购物者群体。每个合成购物者由一个买家角色表示，我们将其定义为买家原型（一个多维度的行为和价值观档案）与买家意图（一个采样的产品目标与购买决策指南的配对）的组合。该流水线并非依赖手工制作的人物角色或通用的购物者原型，而是从观察到的会话和买家级行为中推断购物者的异质性。在较高层次上，这个过程包括：(a) 对会话进行聚类以识别重复的购买模式；(b) 提取产品偏好并生成买家意图；(c) 聚合买家级行为信号以构建买家原型；(d) 将意图和原型组合成驱动实时浏览器智能体的买家角色。

这种设计使得SimGym能够保留每个店铺的经验客户分布，使智能体档案与观察到的参与和转化模式对齐，并跨不同商家扩缩人物角色构建，而无需手动调整。我们在第3节中描述实现细节。

### 2.2 智能体架构

与现有的离线模拟方法不同（Zhang等人，2025），SimGym采用VLM驱动的浏览器智能体架构，通过完整的浏览器环境直接在实时店铺前端上执行购物会话。为了在异构且动态变化的电商界面上可靠运行，该架构结合了多模态网页感知、动作规划、记忆管理和有防护的浏览器执行，如图7（附录图7）所示。下面我们描述每个组件。

多模态网页感知。SimGym模拟智能体在每个决策步骤通过两种互补模态观察每个页面，这些模态提供给VLM：(a) 文本网页结构信息，由DOM派生的无障碍树表示，将页面抽象为元素层级结构，如标题、按钮和链接，并带有映射到DOM位置的唯一参考ID，以实现明确的操作定位（Deng等人，2023；Zhou等人，2023）；(b) 视觉页面感知，由页面截图表示，捕捉与真实购物者体验相同的渲染店铺前端，包括布局、图像、排版、颜色和视觉重点。

无障碍树提供了一种紧凑、面向动作的表示，保留了导航和元素选择所需的语义结构，而截图则用店铺设计、促销内容和产品图像所传达的渲染视觉上下文来补充这种表示。结合这两种模态，允许SimGym模拟智能体对效果主要是视觉的界面变化（如英雄区重新设计、横幅突出度和色彩主导的商品展示）进行推理，同时在异构店铺前端设计上保持稳定的、基于DOM的动作执行。

动作规划。SimGym模拟智能体遵循自主智能体架构中常用的观察-规划-行动循环（Park等人，2023）。在此设计中，模拟智能体作为高层规划者：在每个决策步骤，它决定购物会话是否应该终止，如果不终止，则生成下一个浏览器级动作，由专门的浏览器控制器执行。为了支持目标导向和人物角色条件的决策，SimGym为VLM组装了一个状态条件的规划上下文，包含：(a) 分配的购物目标；(b) 生成的买家角色（见第3节），包括探索深度、价格敏感度、产品偏好和价值取向；(c) 总结先前动作、观察和中间结果的会话记忆；(d) 当前浏览器状态，由URL、DOM派生的无障碍树和页面截图表示；(e) 指定允许的结账和购物车操作的防护措施。

在此上下文中，每个决策步骤通过三个阶段进行：(a) *观察*，智能体观察当前页面状态并检索累积的会话记忆；(b) *规划*，VLM产生一个模式约束的响应，包含其推理、终止决策，以及如果会话应该继续则提出下一个动作；(c) *行动*，系统要么终止会话，要么将预测的动作传递给专门的浏览器控制器在实时页面上执行。动作规范包括动作类型、目标元素和所需参数，使得模型输出可直接由下游执行逻辑解析。

执行后，控制器记录由此产生的页面转换、动作结果和相关观察，然后将此信息追加到会话记忆中供后续规划步骤使用。此循环重复，直到模拟智能体完成其购物目标或触发防护措施。该过程使每个决策都基于当前页面状态，同时保持完整浏览轨迹上的会话级连续性。我们在附录E中提供了一个示例智能体轨迹。

记忆管理。模拟智能体维护一个情景会话