通过环境基础验证评估开放权重电商代理

# 基于环境验证的开源电商智能体评估

来源：https://arxiv.org/html/2609.16093

###### 摘要  
购物对话可以有多种路径达成同一购物车配置，而任务成功率指标将所有路径简化为单一分数。我们构建了一个确定性且可重现的电商环境，在每次试验前预先设定客户与交互轨迹参数，包括用户画像、难度等级、目标购物车以及商品信息揭示计划。模拟消费者在该环境中尝试购买目标购物车中的商品，由被评估模型提供协助。环境会引导模拟器的行为，并记录每个助手动作及当时对应的环境状态。试验结束后，这些记录使评估者能够基于保留的证据逐段评估对话内容。例如，仅当客户已提及某商品时，评估者才会对未能搜寻到该商品的搜索行为进行扣分。我们进一步利用此证据，根据助手动作与预期工具调用集合的匹配程度，对不同工具调用施加差异化的惩罚。

环境还能与模拟器双向交互：读取其输出以在模拟器判定客户受挫度过高时终止试验，并实时注入指令指定何时探索商品、暂缓购买某物品或回顾先前的对话交流。这种交互方式创造了一个开放且可验证的模拟场景。通过对参数规模20B至35B的八个开源智能体进行评估（每个智能体160次试验，采用44项指标），生成的能力剖析图能够区分行动不足、过度购买、无支撑的商品属性描述以及低效搜索等问题——这些缺陷在终端成功率指标中均被掩盖。

## 1 引言  
在线购物工具智能体必须将不完整的需求偏好转化为商品目录操作，同时维护客户可接受的购物车。最终购物车确立了交互的终点，但未记录达成该状态的路径。仅凭完成的对话记录无法确定智能体可用的商品目录信息、每次操作后的购物车状态，或客户在发起搜索时是否已请求某商品。这些缺失信息导致评估者无法区分恰当操作与偶然成功或冗余操作。

我们提出一种电商模拟环境，在对话开始前构建验证所需的证据基础。生成器从包含10,000件商品的控制目录中创建隐藏的*目标购物车*，并承诺执行*信息揭示计划*——该计划决定每件商品何时对客户生效。控制器在对话过程中应用该计划，同时用户模拟器扮演客户角色。环境在试验全程保留目标购物车、目录状态、工具轨迹及信息揭示时段。这种结构在保持客户交互开放性的同时，为评估者提供了关于智能体需知与所需操作的稳定依据。

验证器利用此依据重建购物车状态，并评估基于商品目录的陈述、搜索行为及工具使用。基于模型的评判器仅负责需要语言理解的问题，包括属性陈述是否有商品目录支持，以及回复是否满足客户请求。因此评估能够区分终端成功率指标所合并的多种失败类型，可识别智能体是否：未能找到请求的商品、添加了客户不需要的商品、在缺乏依据的情况下描述商品属性，或耗费多轮交互而未推进购买进程。

我们对参数规模20B至35B的八个开源智能体进行了每个智能体160次试验的评估。结果剖析图揭示了智能体在检索、购物车管理及有据可依的商品描述方面的差异，这些差异对部署和修复具有不同影响。我们还通过终止原因和工具调用密度分析了不同难度层级下的购物流程节奏。本文作出以下五项贡献：

1. 一个由场景生成器提供验证所需基准事实的电商环境。每个场景包含隐藏的目标购物车、按商品划分的信息揭示时段，以及类别分布拟合自零售聚合数据的控制目录（第3节 https://arxiv.org/html/2609.16093#S3）。
2. 包含44项指标的评估体系，涵盖购物成果、工具使用和客户支持质量。确定性状态重建可判定无需评判器的问题，标准注册机制支持新增指标（第4节 https://arxiv.org/html/2609.16093#S4）。
3. 分群体评分机制。每种试验类型采用独立的评分标准和适用性映射，使评估可针对特定部署场景而无需平均不兼容任务的表现（第4节 https://arxiv.org/html/2609.16093#S4）。
4. 验证消融分析，识别哪些问题可从最终购物车、对话记录、环境状态或完整模拟器记录中判定（第5.1节 https://arxiv.org/html/2609.16093#S5.SS1）。
5. 八模型研究，将智能体表现转化为能力剖析图，并利用终止原因和工具调用密度诊断不同难度层级的结果（第5节 https://arxiv.org/html/2609.16093#S5）。

## 2 相关工作  
WebShop（Yao等，2022 https://arxiv.org/html/2609.16093#bib.bib2）在开始时向智能体提供完整的购物请求，并评分已购商品对请求的满足程度。作者验证了该评分器并单独分析了搜索活动、访问商品及示例轨迹，但该基准未发布单个操作的标准化正确性标签。

ShoppingBench、WebMall、WebArena和Mind2Web评估基于预先提供的任务规范的购物或浏览器智能体（Wang等，2026 https://arxiv.org/html/2609.16093#bib.bib3；Peeters等，2026 https://arxiv.org/html/2609.16093#bib.bib4；Zhou等，2024 https://arxiv.org/html/2609.16093#bib.bib6；Deng等，2023 https://arxiv.org/html/2609.16093#bib.bib7）。对话式购物基准逐步揭示偏好：ShopperBench基于用户画像设置双智能体交互（Ling等，2026 https://arxiv.org/html/2609.16093#bib.bib8），ChatShop则针对单个目标商品的隐藏属性和选项，根据澄清问题逐步揭示（Chen等，2024 https://arxiv.org/html/2609.16093#bib.bib5）。两者均未为基于状态的验证预先划定按商品划分的请求边界。

过程导向评估同样超越终端成功指标：AgentBoard基于人工标记的子目标评估进展，Kirgis等人建议通过系统日志分析揭示被结果分数掩盖的失败案例（Ma等，2024 https://arxiv.org/html/2609.16093#bib.bib12；Kirgis等，2026 https://arxiv.org/html/2609.16093#bib.bib21）。

对话式有状态基准提供了最接近的过程比较：ToolSandbox将固定的人工编制里程碑与风险点图谱匹配到逐轮状态快照，对选定事件施加部分时间排序（Lu等，2025 https://arxiv.org/html/2609.16093#bib.bib11）；τ-bench比较模拟零售交互的最终数据库与标注目标状态（Yao等，2025 https://arxiv.org/html/2609.16093#bib.bib9），其对话记录信息发出时间，但场景未暴露预先承诺的结构化揭示计划，因此其奖励机制无法区分请求前后发起的搜索；COMPASS通过动态更新的模拟器提示逐步揭示旅行约束，并记录完整规范化的轮次，但未在对话前为每个约束分配揭示轮次（Qin等，2025 https://arxiv.org/html/2609.16093#bib.bib10）。我们的场景增加了预先承诺的、与请求相关的边界，以支持对中间工具调用的评分。

大语言模型被广泛用于评估生成文本（Zheng等，2023 https://arxiv.org/html/2609.16093#bib.bib13；Liu等，2023 https://arxiv.org/html/2609.16093#bib.bib14），但研究记录了位置偏见、长度偏见及不完美的成功分类（Wang等，2024 https://arxiv.org/html/2609.16093#bib.bib15；Dubois等，2024 https://arxiv.org/html/2609.16093#bib.bib16；Lù等，2025 https://arxiv.org/html/2609.16093#bib.bib17）。主张分解法为事实性评估提供了补充方法：FActScore基于知识源核查原子主张，FacTool则结合主张提取与特定任务工具（Min等，2023 https://arxiv.org/html/2609.16093#bib.bib18；Chern等，2023 https://arxiv.org/html/2609.16093#bib.bib19）。

## 3 评估环境  
我们仅在每次试验前固定验证所需的证据，而让客户交互保持开放性。

### 3.1 商店界面  
我们在包含10,000件商品、涵盖19个类别的控制目录上评估智能体。通过平均六家零售商的类别份额，我们模拟了通用电商门店的布局。此分布提供基于商品目录类别的先验基础，而非精确复制任一零售商。附录A（https://arxiv.org/html/2609.16093#A1）提供数据源、标准化流程及聚合与分零售商的份额数据。

#### 工具接口  
智能体通过八个工具进行操作。验证器在惩罚不必要调用时将它们分为四类注册类别；附录E（https://arxiv.org/html/2609.16093#A5）提供工具映射和权重。检索后端使用sentence-transformers/all-MiniLM-L6-v2对查询和商品文本进行编码，并通过余弦相似度对归一化嵌入进行排序（Reimers & Gurevych，2019 https://arxiv.org/html/2609.16093#bib.bib20）。每次试验使用全新的购物车。

### 3.2 场景：客户想要什么以及客户是谁  
每次试验将待评估智能体与*用户模拟器*（扮演客户的前沿模型）配对。一个整数种子确定场景。通用购物、食品杂货以及附录J（https://arxiv.org/html/2609.16093#A10）中的拒绝探测共用此机制，但评估框架分别生成并聚合它们。试验类型决定购物篮从哪些类别抽取商品以及客户的处理方式。

#### 目标购物车  
客户被分配一组隐藏的在售商品及其所需数量。构建时首先确定类别，使购物篮像真实购物一样逐步填充。难度层级设定*广度*（浏览的商品目录类别数量）。在每个类别内，我们抽取价格权重代表商品——使用以类别中位数为中心的对数价格高斯分布，使中等价位商品占主导。该价格设定*深度*。以B表示广度，p_j表示位置j抽取代表商品的价格，则购物篮包含m=∑_{j=1}^B D_j种不同商品，其中P(D_j=d)=r_j^{d-1}(1-r_j)，r_j=max(0.07, 1-2/(1+c_j))，c_j=min(6, max(1, round(10-3.3log_{10}p_j)))。5美元的日用品使r_j≈0.71，平均深度约3.5；700美元的商品使r_j=0.07，几乎总是解析为单件。层级仅控制广度，因此两个简单层级只抽取一个类别并通过深度覆盖若干商品，而多商品和复杂层级通过访问更多类别增加购物篮容量。数量遵循偏移幂律w(q)∝(q+c)^{-α}，分两种模式：设置c=0使头部陡峭（购物者通常购买1件），大c值使分布平坦（1至5件购买概率相当）。食品杂货采用平坦模式并配合衰减系数使大包装数量较少出现。附录B（https://arxiv.org/html/2609.16093#A2）提供其余参数。由于所有目标商品均来自商品目录，客户不会询问商店没有的商品。报告未找到匹配的智能体属于检索失败而非发现空货架，第4节（https://arxiv.org/html/2609.16093#S4）按此进行评分。

#### 难度与用户画像  
每次试验包含1至10的难度等级，映射至四个层级（表1 https://arxiv.org/html/2609.16093#S3.T1）。对话轮数预算基于购物篮设计，而非难度的固定函数。预算为 slack + round(w_{tier}·m)，其中m为实际商品种类数，slack为3，各层级权重w_{tier}从1.0增至2.25。在相同层级内，原始难度d决定客户是否保留可选提示。关于尺寸、颜色、尺码或预算的提示按d/10的概率被保留。客户还从六个独立的分类维度中抽取，权重符合实际频率：分别指定客户表达需求的精确度、承诺意愿、价格重要性、商品词汇量、消息长度及输入质量。附录C（https://arxiv.org/html/2609.16093#A3）列出取值。

表1：四个难度层级。广度指目标购物车跨越的商品目录类别数。食品杂货试验使用更宽的广度范围。对话轮数权重w_{tier}乘以实际购物篮规模。

### 3.3 信息揭示计划  
大型目标购物车要求客户通过多条消息表达需求，使请求时序成为答案的关键组成部分。在第2轮发起的搜索不应因客户在第9轮才提及的商品而被扣分。因此我们在场景构建时固定计划，通过驱动端控制器执行，为每件商品标记客户首次请求时的消息索引。

每次多商品试验根据实际购物篮和试验类型抽取三种风格之一：*批量*（提前声明商品清单）、*线性*（前件商品进入购物篮后依次释放单件商品）、*非线性*（遵循节拍行程表：可能引入并探索商品、暂缓转向其他请求、稍后返回结算）。这些阶段可跨商品交错进行而非按购物篮顺序。食品杂货呈列表形而非探索旅程，故以批量为主且从不采用非线性模式；非食品杂货的复杂试验偏向非线性。附录D（https://arxiv.org/html/2609.16093#A4）提供采样权重。当批量试验的商品超过四件时，改为释放有界的商品波次，并在当前波次每件商品进入购物篮后推进。普通波次将相关商品分组，复杂试验可能混合类别。附录D（https://arxiv.org/html/2609.16093#A4）提供波次构建方法。

每个非线性目标商品获得一个*必要*添加节拍，可选节拍控制其引入、探索、暂缓和返回。此结构确保每个目标可达，同时允许对话在不同未解决请求间移动。附录D.1（https://arxiv.org/html/2609.16093#A4.SS1）展示由这些计划生成的线性、微批量和非线性对话记录。

### 3.4 运行试验  
每轮包含一条客户消息和一个智能体回合（可能包含多轮工具调用）。模拟器以单个结构化调用响应每轮。其五个字段包含：简短的理由说明、内联挫败度评分、下一条客户消息、带原因的终止标志及下一动作建议。环境记录所有这些元素，形成可验证的交互轨迹。