具有分层信念状态记忆的智能推荐系统

# 具有层级信念状态记忆的智能体推荐系统

## 摘要

记忆增强的大语言模型智能体已推动了个性化推荐的发展，然而现有方法普遍采用扁平化的记忆表示，将短暂信号与稳定偏好混为一谈，并且没有任何方法提供完整的生命周期来管理记忆的演化。我们提出了**ARS**（记忆增强的智能体推荐系统），这是一个将推荐视为部分可观察问题的框架，并维护一个结构化的信念状态，逐步将噪声行为观测抽象为用户偏好的紧凑估计。ARS将这种信念状态组织为三个层级：事件记忆缓冲原始信号，偏好记忆维护细粒度的、可变的分块，并带有明确的强度和证据追踪，而画像记忆则将所有偏好蒸馏成一个连贯的自然语言叙述。一个完整的六种操作生命周期——提取、增强、削弱、合并、遗忘和重新合成——由基于大语言模型的规划器自适应调度，而非固定间隔的启发式方法。在四个InstructRec基准领域的实验表明，ARS实现了最先进的性能，在HR@1上平均提升26.4%，在NDCG@10上平均提升10.3%，优于最强基线，并且在演化设置中通过智能体调度获得了进一步改进。

## 1 引言

推荐系统是在线内容发现的基础，在社交媒体、电子商务和娱乐平台上支持着数十亿用户的个性化服务。该领域已从协同过滤和基于图的方法发展到深度学习排序模型，再到近期捕捉用户行为时序动态的自注意力序列架构。尽管这些系统在离线指标上表现强劲，但它们共享两个根本局限。首先，用户是被动参与的，只能通过隐式信号或粗粒度的控制来影响推荐，而无法使用自然语言直接表达意图并引导系统。其次，基于嵌入的模型是狭窄的专家模型，捕捉统计共现但无法推理一个物品*为什么*符合用户的品味。

大语言模型（LLM）的出现开启了一个新范式，通过使系统能够以自然语言推理用户偏好和物品语义，解决了这些局限。虽然LLM可以零样本地对物品排序，但没有持久记忆就无法跨交互累积理解，这推动了越来越多的记忆增强的智能体推荐系统。这些系统范围从静态方法（从交互历史构建或重建用户画像）到动态方法（通过反思和协同信号传播逐步演化偏好）。尽管有所进展，所有现有方法在记忆的结构化方式及其生命周期管理上仍存在关键局限。

这些局限体现在两个基本差距上。首先，所有现有系统都采用扁平化的记忆表示，无法有效地对推荐环境执行状态抽象。具体地，它们混淆了三个关键抽象层级：原始的高维观测（*瞬间*层级——用户当前在做什么）、解耦的信念变量（*倾向*层级——他们一贯偏好什么，信心如何）以及整体的状态表示（*身份*层级——他们作为消费者的整体画像）。将这些不同的层级合并为一个扁平表示，要么失去进行精确信用分配的细粒度，要么失去检测分布漂移的新近度，要么失去进行准确排序所需的语义连贯性。其次，没有任何现有系统提供形式化的状态转换机制——一个完整的记忆生命周期——来规定信念状态何时以及如何演化，因此在新的证据累积时，缺乏提取、合并或衰减偏好的原则性方法。

为填补这些空白，我们提出了**ARS**（记忆增强的智能体推荐系统），这是一个通过部分可观察马尔可夫决策过程的视角来构建记忆管理的智能体推荐框架。为了解决底层用户意图的部分可观察性，ARS实现了一个层级状态抽象架构，为每个抽象层级分配专门的层级：*事件记忆*缓冲原始交互信号（观察空间），*偏好记忆*维护细粒度的、独立可变的偏好分块，带有明确的强度和证据追踪（解耦的信念变量），而*画像记忆*将这些离散分块蒸馏成一个连贯的自然语言叙述（整体状态表示）。每个层级专门针对不同角色：事件记忆捕捉原始转换动态，偏好记忆实现精确的信用分配——新的证据仅更新相关信念而不干扰状态空间中的无关变量，而画像记忆则提供紧凑的马尔可夫上下文，供基于LLM的排序器最有效地消费。

此外，ARS为智能体推荐引入了第一个完整的记忆生命周期，通过一组原则性的操作管理信息在这些层级之间的转换：从原始信号中提取偏好、在新证据累积时进行增强和削弱、合并近似重复的信念、基于证据的遗忘、以及画像重新合成。与之前的方法（要么每次交互后更新记忆，要么在固定间隔重建）不同，一个LLM规划器根据累积的信号量自适应地调度这些操作，根据上下文决定何时进行记忆维护是合适的，从而在记忆新鲜度和计算成本之间取得平衡。

图1：ARS概览。三层记忆（中心）存储原始信号（事件记忆）、带有强度和证据的可变偏好分块（偏好记忆）以及合成的用户叙述（画像记忆）。实线箭头：在线排序路径，其中画像记忆和事件记忆输入LLM排序器。虚线箭头：离线生命周期路径，其中智能体规划器调度六种记忆操作以保持偏好最新。偏好记忆作为中间层级，为画像合成提供信息，但不直接为排序器消费。两条路径是解耦的。

我们的主要贡献可总结如下：

- 我们提出了**ARS**，一个围绕**三层记忆架构**（事件、偏好和画像记忆）构建的智能体推荐系统，通过将原始事件逐步抽象为可变偏好分块，再抽象为连贯的自然语言画像，解决了短期行为信号与长期用户特征之间的歧义。
- 我们设计了一个**完整的记忆生命周期**，包括提取、增强、削弱、合并、遗忘和重新合成，由一个基于LLM的规划器根据累积的上下文自适应调度操作，取代了刚性启发式方法并降低了计算成本。
- 我们在InstructRec基准的四个领域上进行了**广泛实验**，涵盖回顾式和演化式两种评估设置，展示了最先进的性能，在每个领域的最强基线上平均HR@1提升26.4%，NDCG@10提升10.3%。

## 2 相关工作

### 2.1 推荐系统中的LLM智能体

将LLM驱动的智能体应用于推荐系统已引起广泛关注。一条工作线使用LLM智能体模拟用户行为以进行评估和分析，表明LLM智能体能准确再现用户行为，但主要贡献在于评估方法论而非推荐质量。另一条工作线利用LLM作为自主智能体，编排传统推荐模型作为工具。尽管这些系统表现出强大的推理和规划能力，但它们没有持久用户记忆，将每个会话视为独立的。

最密切相关的工作是为LLM智能体配备持久记忆来建模演化的用户偏好。iAgent引入了用户-智能体-平台范式，代表用户减轻平台侧偏差，i2Agent通过反馈循环的迭代画像生成进行了扩展。AgentCF将用户和物品都建模为自主智能体，通过前向交互和反向反思协作更新它们的记忆。STEAM引入了原子记忆单元，形成社区和原型，包含记忆形成和合并，但缺乏遗忘机制。由于这些针对单个用户的方法无法利用协同信号，最近的工作通过全局记忆池、路由中介网络或架构上解耦的记忆管理器配合协同图传播来在用户间传播偏好更新。尽管有所进展，所有现有方法都采用扁平化的记忆表示，并且缺乏涵盖提取、合并和遗忘的完整生命周期。ARS通过一个受完整生命周期管理且具有自适应调度的三层架构解决了这些空白。

### 2.2 LLM智能体记忆

记忆管理已成为LLM智能体系统中的一个核心挑战。一个主导的设计范式从操作系统汲取灵感：MemGPT开创了虚拟上下文管理，具有主上下文和外部存储之间的自驱动分页，后续工作通过通用记忆封装和跨类型迁移或基于热度的层级升级扩展了这一点。除了操作系统级别的抽象，另一条工作线通过增量CRUD存储或时序知识图谱将记忆表示为结构化知识。

在架构进展的同时，记忆演化机制已成为一个活跃的研究领域。CoALA将认知科学记忆类型映射到语言智能体，并明确将记忆修改和删除标记为“研究不足”，而MemoryBank和H-Mem分别通过艾宾浩斯遗忘曲线和反馈驱动的权重调整来解决遗忘问题。尽管有所进展，但没有现有系统将提取、合并和遗忘整合到一个统一的生命周期中；大多数通过简单启发式方法（如FIFO驱逐或基于时间的衰减）处理遗忘。此外，这些系统是为事实回忆和会话连贯性设计的，而非为推荐设计的，在推荐中，记忆还必须捕捉偏好强度、证据强度和多时间尺度动态。ARS通过将层级记忆原则适配到偏好建模并配合领域特定的生命周期管理来弥合这一差距。

## 3 方法

### 3.1 问题形式化

我们考虑带有自然语言指令的序列推荐问题。令U表示用户集合，I表示物品集合。给定用户u∈U的历史交互Hu = {(i1, t1), (i2, t2), …, (iT, tT)} 按时间戳排序，其中每个ik∈I；可选的用户当前意图自然语言指令qu；以及要排序的候选物品集合C⊆I，目标是生成C的排序，使其与用户偏好和意图的相关性最大化。

为了建模用户意图的不确定性，我们借鉴POMDP框架。用户的真实偏好构成一个隐藏状态s∈Shidden，受未知的转移动力学T(s′|s,a)支配；系统不能直接观察到s，而是通过行为信号（点击、购买、评分）接收到部分、带噪声的观察o∈Ω。在标准POMDP中，智能体通过贝叶斯滤波维护一个概率信念状态，但当偏好存在于开放的无限自然语言空间中时，这是不可行的。ARS转而维护一个结构化的符号信念状态Mu = (Eu, Pu, Su)，该状态逐步将原始观察(Eu)抽象为离散、解耦的信念变量(Pu)和一个整体语义表示(Su)。一个基于LLM的规划器πplan(at|Mu)选择离散的记忆更新动作at∈A（例如，提取、提升、降级、合并、遗忘、合成），在记忆新鲜度和计算成本之间取得平衡，而排序策略πrank根据Mu和用户指令qu生成来自C的物品列表。

### 3.2 三层记忆架构

遵循我们的POMDP形式化，ARS通过三个抽象层级递增地构建其符号信念状态Mu，如图1所示。

**事件记忆。** 第一层级Eu = {e1, e2, …, eL} 捕捉瞬间层级，以结构化记录的形式存储原始行为信号。每个信号e = (u, i, a, mi, t) 捕捉用户u、物品i、动作类型a、物品元数据mi和时间戳t。在我们的框架中，该层级充当原始观察空间Ω，忠实地记录行为数据(o∈Ω)而不做解释。事件记忆维护为一个有容量Lmax边界的FIFO队列。我们用Eupending ⊆ Eu表示尚未经过偏好提取处理的信号子集；一旦处理完毕，观察仍保留在Eu中作为排序上下文，但不再处于待处理状态。

**偏好记忆。** 第二层级Pu = {p1, p2, …, pK} 捕捉倾向层级，将用户偏好表示为细粒度的、独立可变的自然语言语句，作为解耦的信念变量。每个偏好分块p是一个四字段元组：领域特定的**类别**标签（例如，流派、写作风格）、描述偏好的自然语言**陈述**、表示方向和大小的**强度**∈[-1,1]、表示偏好（由过往交互支持）置信度的**证据**累积分数，以及最近更新时间戳。该架构支持精确的信用分配：如果用户购买了一本高概念的科幻小说，偏好记忆中的“偏好高概念科幻”分块会得到增强（强度提升，证据增加），而“偏好文学小说”分块保持不变，这与扁平化记忆不同（扁平化记忆会将这些语义不同的信号混淆在同一表征中，迫使同时更新不相关的信念）。这种解耦确保了一个领域的反馈不会虚假地扭曲另一个领域的信念——这是有效状态抽象的一个关键属性。

**画像记忆。** 第三层级Su是一个非结构化但紧凑的自然语言叙述，将偏好记忆中的所有信息蒸馏成一致的用户画像。它捕捉身份层级——“此人作为消费者是谁？”——例如，“Alex是一名专注于高质量文学小说的推理类读者，对计算类作品强烈排斥”。该叙述是专门为排序效率优化的：通过将所有K个偏好分块（可能跨越数十个维度）合成为一个连贯段落，它消除了在每次排序调用时直接将众多偏好分块作为LLM排序器上下文的需要。与偏好记忆的持续性不同，画像记忆是派生的：每次规划器执行合成(synthesize)操作或当偏好记忆发生显著变化时，它都会完全重新生成。在将画像[和事件记录一起]作为输入提供给排序器之前，都会应用一个轻量级的令牌截断。

这种三层设计提供了几个关键优势：(1) 事件记忆保持数字工业级保真度而不受LLM输出干扰；(2) 偏好记忆允许精确、解耦的信念更新；(3) 画像记忆为排序提供紧凑、马尔可夫的输入；(4) 层级处理实现了时间和空间高效的操作，因为增强和削弱只访问相关偏好分块而不扫描整个状态。