从在线用户反馈中学习购物代理

# 从在线用户反馈中学习购物智能体  
来源：https://arxiv.org/html/2608.11604  
1]中国人民大学高瓴人工智能学院 2]京东\\checkdata[邮箱];;  
###### 摘要

基于大语言模型的购物智能体正越来越多地部署在真实电商平台上，产生了海量用户交互日志，为改进这些智能体提供了宝贵的监督信号。然而，现有方法主要依赖离线训练信号，如用户-物品交互或合成偏好数据，而很大程度上忽略了用户自然对话反馈中蕴含的丰富监督信息。此外，可用的在线反馈异构、稀疏且带有噪声，难以自动转化为可靠的学习信号。为应对这些挑战，我们提出LOFA，一个使购物智能体无需人工标注即可直接从真实在线交互日志中学习的框架。LOFA将基于可验证购买结果的强化学习与反馈感知的同策略蒸馏相结合，识别用户的对话内指令并将其转化为密集的词元级监督。这些互补的目标同时捕获了协同行为模式和用户特定偏好。在真实电商日志上的大量实验表明，LOFA在推荐质量、响应有用性和用户满意度对齐方面持续优于强基线，凸显了从真实在线用户反馈中学习购物智能体的有效性。††脚注文本：‡\ddagger本工作完成于张浩波在京东的实习期间。†\dagger通讯作者。

## 1 引言

大语言模型（LLMs）最近推动了对话式购物智能体的快速发展，使用户能够通过自然语言交互来搜索商品、比较选项并做出购买决策。与主要根据历史行为对物品进行排序的传统推荐系统[19 (https://arxiv.org/html/2608.11604#bib.bib4),11 (https://arxiv.org/html/2608.11604#bib.bib2),16 (https://arxiv.org/html/2608.11604#bib.bib3),32 (https://arxiv.org/html/2608.11604#bib.bib5)]相比，购物智能体[28 (https://arxiv.org/html/2608.11604#bib.bib6),5 (https://arxiv.org/html/2608.11604#bib.bib8)]能够主动理解用户不断变化的意图，进行多轮对话，调用商品搜索引擎等外部工具，并提供个性化推荐以及自然语言解释[14 (https://arxiv.org/html/2608.11604#bib.bib9),12 (https://arxiv.org/html/2608.11604#bib.bib7)]。随着这些智能体越来越多地部署在Amazon等真实电商平台上，它们持续积累着用户与智能体之间的大量交互日志。除了记录推荐是否最终促成了购买，这些日志还捕获了用户在对话过程中的自然反应、偏好细化以及纠正性反馈，为改进购物智能体提供了宝贵但尚未充分开发的来源。

参见说明图1：真实在线购物日志中包含的监督信号示例，包括显式行为反馈（如购买结果）和对话内指令反馈。这些反馈信号揭示了用户为何对之前的推荐（不）满意，并为改进未来的推荐决策和对话响应提供了细粒度指导。

近期研究通过改进推理、规划、工具使用和个性化推荐，显著推进了购物智能体的发展[25 (https://arxiv.org/html/2608.11604#bib.bib16),29 (https://arxiv.org/html/2608.11604#bib.bib12),31 (https://arxiv.org/html/2608.11604#bib.bib13)]。同时，一些研究探索了更复杂的智能体架构，例如集成用户画像、记忆模块和多智能体协作，以更好地建模用户偏好并支持复杂推荐场景[7 (https://arxiv.org/html/2608.11604#bib.bib17),23 (https://arxiv.org/html/2608.11604#bib.bib18)]。在智能体能力不断进步的基础上，现有优化方法主要通过有监督指令微调、偏好优化或基于精心整理的离线数据集的强化学习来改进购物智能体[8 (https://arxiv.org/html/2608.11604#bib.bib11),26 (https://arxiv.org/html/2608.11604#bib.bib10)]。这些方法主要从静态监督中学习，包括用户-物品交互数据和合成偏好标注，并在离线训练设置下取得了强劲性能。尽管取得了这些进展，如何有效地从真实在线用户反馈中学习仍未得到充分探索。首先，真实世界的用户-智能体交互自然会产生两种互补的在线用户反馈形式：显式行为反馈（如点击和购买）以及对话内指令反馈（用户通过后续对话轮次细化偏好或表达不满）。现有方法主要依赖显式行为反馈，而很大程度上忽略了对话内指令反馈，而后者同样是反映用户意图和偏好的重要信号。此外，购买信号在真实日志中本质上稀疏且延迟，这使得难以将成功结果归因于具体的对话决策。其次，尽管对话内指令反馈包含更丰富、更细粒度的信息，但它高度异构、稀疏且带有噪声，难以自动识别可操作的信号并将其转化为有效的监督。因此，真实在线交互中蕴含的宝贵监督在很大程度上仍未用于改进购物智能体。基于这一观察，我们认为从在线交互日志中有效学习需要同时利用这两类反馈源。显式行为反馈（如购买）提供了可靠的结果级监督，直接反映推荐是否成功。另一方面，对话内指令反馈揭示了用户满意或不满意的潜在原因，为改进未来响应提供了细粒度指导。我们并非将这两种信号独立对待，而是将其视为从真实交互日志中学习购物智能体的互补监督：显式行为反馈回答了交互是否达成成功结果，而对话内指令反馈解释了用户为何满意或不满意。这一洞见激发了一个统一框架的提出，该框架系统地异构在线反馈转化为有效的训练信号，使智能体能够从日常日志中自我改进。

为应对这些挑战，我们提出LOFA，一个无需人工标注即可从在线用户反馈中学习购物智能体的统一框架。它通过联合利用显式行为反馈和对话内指令反馈，系统地将异构在线用户反馈转化为有效的监督信号。具体而言，对于显式行为反馈，LOFA自动从在线日志中识别与购买结果相关的交互会话，并将其构建为训练数据。然后，这些数据被用于通过强化学习优化智能体，以更好地满足用户的购物需求并带来更准确的推荐。对于隐式对话反馈，LOFA利用基于LLM的反馈挖掘流水线来识别后续用户响应中包含的可操作指令信号。我们将这些信号分为四种代表性反馈类型，反映用户不满、偏好细化和缺失约束。为了有效从这种稀疏且异构的反馈中学习，我们进一步引入了同策略蒸馏框架，其中后续用户反馈被用作额外指导来构建增强的教师模型。由此产生的教师分布提供密集的词元级监督，使学生模型能够学习其先前的响应应如何根据用户反馈进行修正。通过联合学习购买结果和对话反馈，LOFA不仅学习推荐是否成功，还学习用户满意或不满意的原因，从而产生更准确的推荐，以及更符合用户意图的响应。

我们的主要贡献总结如下：（1）我们将从在线用户反馈中学习定义为改进购物智能体的新范式，并提出LOFA，一个无需人工标注即可自动将真实日志中提取的在线用户反馈转化为有效监督信号的统一框架。（2）我们识别出两种互补的在线用户反馈形式——显式行为反馈和对话内指令反馈——并开发了基于LLM的反馈挖掘框架，以自动从嘈杂的真实交互中提取可操作的对话监督。（3）我们引入了一种双反馈优化策略，将来自购买结果的强化学习与来自对话反馈的同策略蒸馏相结合，使购物智能体不仅学习推荐是否成功，还学习用户满意或不满意的原因。

## 2 相关工作

### 2.1 基于智能体的推荐

LLMs的近期进展催生了新一代基于智能体的推荐系统（RSs），这些系统将推荐表述为一个自主决策过程，涉及推理、规划、记忆以及与外部环境的交互。现有研究大致可分为基于智能体的交互模拟器和基于智能体的推荐器。

**基于智能体的交互模拟。** 这一方向的工作使用智能体模拟用户、物品和环境，以建模推荐动态并完善用户和物品的记忆[13 (https://arxiv.org/html/2608.11604#bib.bib21),21 (https://arxiv.org/html/2608.11604#bib.bib20),2 (https://arxiv.org/html/2608.11604#bib.bib22),33 (https://arxiv.org/html/2608.11604#bib.bib23),27 (https://arxiv.org/html/2608.11604#bib.bib19)]。它们主要关注用户行为模拟以及用户和物品特征的建模，从而能够更好地模拟和刻画真实场景。

**智能体作为推荐器。** 另一条研究路线直接将智能体作为核心推荐器，与用户和外部工具交互以提供推荐。近期研究通过改进推理、规划和工具使用能力增强了推荐智能体[29 (https://arxiv.org/html/2608.11604#bib.bib12),31 (https://arxiv.org/html/2608.11604#bib.bib13),26 (https://arxiv.org/html/2608.11604#bib.bib10),22 (https://arxiv.org/html/2608.11604#bib.bib15)]。其他研究则专注于设计专门模块以更好地捕获用户偏好并支持复杂推荐场景，例如用户画像[18 (https://arxiv.org/html/2608.11604#bib.bib24)]、记忆机制[10 (https://arxiv.org/html/2608.11604#bib.bib14)]和多智能体协作[7 (https://arxiv.org/html/2608.11604#bib.bib17),23 (https://arxiv.org/html/2608.11604#bib.bib18)]。更近期的一些工作探索了优化策略，包括指令微调、偏好优化和强化学习，以进一步提高推荐质量[8 (https://arxiv.org/html/2608.11604#bib.bib11),26 (https://arxiv.org/html/2608.11604#bib.bib10)]。尽管智能体能力取得了显著进展，现有方法主要侧重于通过架构设计和推理策略来改进推荐。其中大多数依赖静态训练数据集或显式交互，而对真实用户-智能体交互中的丰富反馈关注有限。相比之下，我们的工作研究购物智能体如何在部署后通过同时利用行为结果和对话反馈来自动从在线交互日志中学习。

### 2.2 面向LLM智能体的反馈学习

从反馈中学习已成为改进大语言模型的关键范式。RLHF[3 (https://arxiv.org/html/2608.11604#bib.bib25),4 (https://arxiv.org/html/2608.11604#bib.bib26)]通过强化学习使模型行为与人类偏好对齐，而随后的DPO[15 (https://arxiv.org/html/2608.11604#bib.bib27)]和GRPO[17 (https://arxiv.org/html/2608.11604#bib.bib1)]等方法进一步提升了偏好优化的可扩展性和有效性。另一个相关方向探索了通过同策略蒸馏进行知识迁移[1 (https://arxiv.org/html/2608.11604#bib.bib28),24 (https://arxiv.org/html/2608.11604#bib.bib29),9 (https://arxiv.org/html/2608.11604#bib.bib30)]。这些方法[1 (https://arxiv.org/html/2608.11604#bib.bib28),30 (https://arxiv.org/html/2608.11604#bib.bib31)]通过基于KL的目标，从教师模型提供密集的词元级监督，以训练学生策略的访问分布。然而，现有反馈学习方法主要依赖精心整理的偏好数据集、推理轨迹或结果级奖励。我们的工作则专注于自动从真实的在线用户反馈中学习，联合利用从已部署购物智能体中提取的行为结果和对话内指令反馈。

## 3 方法

我们提出LOFA，一个通过联合利用显式行为反馈和对话内指令反馈自动从在线用户反馈中学习的统一框架。在本节中，我们首先介绍任务定义和总体框架，然后介绍针对两类反馈源的学习策略。

参见说明图2：LOFA框架的总体架构。

### 3.1 预备知识

#### 3.1.1 符号与任务定义

我们考虑一个在线购物智能体，它通过多轮对话和外部商品搜索工具与用户交互。对于用户uu，我们将用户画像表示为\mathcal{P}_{u}，它由元画像、短期偏好画像和购物记忆组成。交互会话表示为S=\{(q_{1},o_{1},a_{1}),\ldots,(q_{T},o_{T},a_{T})\}，其中q_{t}表示第t轮的用户查询，a_{t}表示智能体响应，o_{t}表示外部工具返回的商品搜索结果。每个工具响应o_{t}由若干候选组成\{c_{1},...,c_{n}\}。对于成功购买的会话，我们进一步将购买物品表示为i^{*}。我们的模型中有两个主要任务，LOFA从真实交互日志中提取的两类互补监督中进行学习。

**行为反馈学习。** 给定交互会话SS及其购买结果i^{*}，目标是优化购物智能体，使购买的物品排名更高，从而生成更能满足用户需求的推荐。

**指令反馈学习。** 给定对话轮(q_{t},o_{t})及其会话上下文SS和后续用户反馈q_{t+1}，目标是提取可操作的偏好信号，并训练智能体生成能更好地满足用户在t轮需求的响应a_{t}^{\prime}。

#### 3.1.2 概述

图2 (https://arxiv.org/html/2608.11604#S3.F2)展示了LOFA的整体框架。从大规模的在线交互日志开始，这些日志从