PLACEMEM：面向终身智能体的计算感知记忆平面

# PlaceMem：面向终身智能体的计算感知记忆平面
来源：https://arxiv.org/html/2607.04089

###### 摘要

终身智能体需要的不仅仅是更大的上下文窗口和更好的检索。它们需要能够持久化、演进并在不强制服务堆栈每轮都重新计算相同历史或静默重用陈旧运行时状态的情况下进行纠正的记忆。我们提出PlaceMem作为终身智能体记忆的系统立场，并附带一个可执行的控制平面原型。核心主张是：智能体记忆应表示为带版本的*胶囊*，在同一个可感知纠正的标识下统一语义、来源、有效性和可重用的运行时状态。在当前原型中，胶囊驱动提示级别的文本检索、KV感知路由以及实时流式后端上的级联失效；前瞻性的层边缘重放被有意定位为更深入的集成议程，而非声称的引擎功能。我们描述了一个vLLM优先的原型，具有持久化胶囊状态、并发安全的失效、兼容OpenAI的路由边车、类型化元数据契约，以及一个测量实时首词延迟、重用率和纠正后行为的基准测试工具。结果既是一个可执行的工件，展示了今日的感知纠正控制平面行为，也为未来终身智能体系统中重放感知的服务集成提供了具体路线图。

## 1 引言

终身智能体正成为语言模型系统的统一目标：它们必须记住用户、完善信念、修正计划、积累工具经验，并在重复交互中保持响应。近期系统表明，记忆能够改善语言智能体的规划、反思和多会话行为 (Park et al., 2023 (https://arxiv.org/html/2607.04089#bib.bib6); Shinn et al., 2023 (https://arxiv.org/html/2607.04089#bib.bib7); Packer et al., 2024 (https://arxiv.org/html/2607.04089#bib.bib5))。同时，vLLM等服务系统通过更好的KV管理和批处理显著提升了大语言模型（LLM）推理的运行效率 (Kwon et al., 2023 (https://arxiv.org/html/2607.04089#bib.bib3))。然而，这两条工作路线仍在优化堆栈的不同层次，导致难以在一个统一架构内评估记忆质量和系统效率。

第一层是*语义记忆*：事实、摘要、工具轨迹、事件反思以及为下一轮检索到的用户特定上下文。第二层是*运行时记忆*：前缀缓存、KV张量、卸载块以及服务系统使用的放置提示。终身智能体研究通常将第二层视为不透明的后端。服务研究通常将第一层视为非结构化的提示文本。结果，多轮智能体工作负载遭受两种可避免的失败：即使在语义相关的可重用状态存在时也重新计算昂贵的前缀填充，以及在事实、摘要或计划被纠正后继续暴露陈旧的运行时工件。我们认为，这种记忆-推理边界正成为下一代智能体系统的首要瓶颈。

本文介绍PlaceMem作为终身智能体记忆的系统立场，并附带一个可执行的控制平面原型。其核心抽象是*记忆胶囊*，一个带版本的对象，在单一标识下绑定语义内容和可重用的计算工件。胶囊驱动分布式推理节点上的重放选择、重用资格和级联失效。更广泛地说，PlaceMem旨在提出一种方案，说明当推理本身是分布式、延迟敏感且持续重用时，终身智能体记忆应如何操作化。本文并未声称拥有一个完成的重放引擎；相反，它展示了今日的感知纠正控制平面行为，并将更深入的重放集成作为该结果之后的议程。

#### 贡献。

我们做出三项贡献。

- • 我们论证了计算感知的记忆平面是终身智能体所缺失的系统抽象，并将记忆胶囊定义为其感知纠正的核心单元。
- • 我们展示了一个可执行的vLLM优先原型，该原型已通过持久化胶囊状态、并发安全的失效、兼容OpenAI的边车、类型化服务契约和实时基准测试工具，展示了感知纠正的控制平面行为。
- • 我们定义了一个重放与放置策略，以及一个更深入集成的明确系统议程，在语义价值、延迟、过时风险和文本检索与KV重放之间的局部性之间进行权衡，同时将层重放留作未来的引擎工作，而非声称的实现结果。

## 2 为什么终身智能体记忆需要一个系统层

核心系统问题不仅在于*什么*智能体应该记住，还在于这些记忆应*在哪里*以及一旦世界变化应*如何*失效。考虑一个客户支持智能体，它先存储了过时的退款政策，后来收到了更正后的政策。纯文本记忆系统可以替换下一次将检索到的句子，但它通常不知道从陈旧政策衍生出的摘要、图边、前缀缓存或远程KV工件。相反，服务堆栈可以高效地重用运行时状态，但缺乏对底层语义是否仍有效的基本原则性视图。

因此，终身智能体需要一个具有四个属性的中间层：

- • **统一标识**。同一个对象应命名记忆语义和从其派生的计算工件。
- • **感知新鲜度的重用**。当有效性窗口、来源或矛盾信号表明风险升高时，应阻止重用。
- • **感知局部性的执行**。当重用远程工件或重新计算不如将请求移向可重用工件时，应如此做。
- • **级联遗忘**。纠正和删除应使派生的摘要、索引和运行时工件失效，而不仅仅是更新一个文本行。

表1：文本中心记忆、运行时缓存和PlaceMem的定性比较。表1 (https://arxiv.org/html/2607.04089#S2.T1)总结了区别。PlaceMem并不取代检索或运行时缓存。相反，它使它们对于终身智能体而言可互操作且可审计。

## 3 PlaceMem架构

请求→\\rightarrow时间检索器→\\rightarrow胶囊目录→\\rightarrow重放策略→\\rightarrow放置边车→\\rightarrowvLLM后端热路径写回→\\rightarrow胶囊更新→\\rightarrow依赖图→\\rightarrow失效引擎→\\rightarrow基准测试与追踪信号

图1：PlaceMem在智能体记忆和分布式推理之间插入一个控制平面。图1 (https://arxiv.org/html/2607.04089#S3.F1)展示了控制路径。架构围绕胶囊目录、依赖图和一个调度器组织，该调度器联合推理语义相关性和运行时重用。

### 3.1 记忆胶囊

记忆胶囊是一个带版本的记录，包含必需的语义字段，如租户标识、表面文本、时间戳和有效性窗口，以及可选的丰富信息，如摘要、来源、实体、事实、依赖关系和工件定位器。关键步骤是：胶囊还可以命名可重用的运行时工件，如嵌入、KV缓存段和可选的层边缘检查点。

这种设计为意义和计算提供了一个标识符。因此，检索器不仅可以回答*哪段记忆是相关的*，还可以回答*哪个可重用状态是兼容的且在特定节点上消耗成本低*。在当前原型中，文本和KV感知路由已完全端到端连接，而层边缘重放仍然是未来引擎扩展的显式契约。

### 3.2 重放策略与放置

对于每个请求，PlaceMem在提示级别文本检索、KV重放和前瞻性层重放之间对重放选项进行排序。该策略通过以下形式的效用函数评估目标度量下的胶囊：

U\(c,t,r\)=w1Preuse+w2Csaved+w3Vsem-w4Rstale-w5Bremote-w6Ltarget。 (1)

这里，Preuse估计近期重用概率，Csaved衡量避免的前缀填充工作量，Vsem捕获任务相关性，Rstale捕获新鲜度风险，Bremote估计传输成本，Ltarget惩罚延迟敏感的度量。选定的决策随后转化为服务层的后端元数据。

这与本地前缀缓存在两个方面不同。首先，决策是在控制平面中做出的，而不是在单个工作节点内部。其次，决策基于语义有效性和局部性，而不仅仅是字节重用。换句话说，PlaceMem将记忆重用视为一个策略问题，而不仅仅是存储优化。在当前原型中，调度器在可配置的节点拓扑上执行该策略；多节点异构放置评估是一个前瞻议程。

### 3.3 失效作为正确性原语

对于终身智能体而言，遗忘不是便利功能；它是纠正后保持行为即时性的一部分。当一个事实被纠正，或一个计划被取代时，智能体不应继续重用从过时信息中推导出的运行时状态。因此，PlaceMem在胶囊和派生工件之间维护依赖边，允许失效事件级联地通过摘要、索引、图事实和可重用的计算状态。

该机制将记忆纠正转变为第一类操作事件。在实践中，它为许多智能体堆栈隐式忽略的问题创建了一个可审计的答案：纠正之后，哪些下游工件不再适合重用？

## 4 一个vLLM优先的原型

我们将PlaceMem实现为以vLLM为基础的具体控制平面原型，旨在作为上述系统立场的可执行证据，而非声称所有重放路径都原生于服务引擎。实现包括：胶囊模式、目录、依赖图、持久化状态快照、并发安全的失效、放置RPC契约、HTTP控制平面、面向vLLM的准入垫片、多节点兼容OpenAI的边车，以及具有重复运行JSON和CSV导出的基准测试工具。

边车提供了与现有vLLM兼容端点立即可部署的集成表面，并为更深入的引擎集成建立了稳定的类型化头部契约，使控制平面行为今日即可部署，同时暴露出未来可添加重放感知集成的确切接口。

当前实现刻意以控制平面为重。它直接支持实时流式后端上的文本和KV感知路由，同时将层检查点工件和重放模式选择暴露为向前兼容的契约。这为感知纠正的重用和失效提供了一个实用的评估表面，而无需进行侵入式的引擎分支。

## 5 终身智能体工作负载的试点评估

我们在三个工作负载族上进行评估，这些负载突出了终身记忆的不同失败模式：客户支持历史、编码智能体仓库循环和研究智能体事实修订。本节的目标刻意狭窄：在重复的终身智能体轨迹上验证感知纠正的控制平面行为，而非声称重放感知的服务集成已完成。

我们在相同的48轮试点轨迹上比较四个基线：仅提示执行、仅文本检索（检索胶囊摘要但不暴露可重用KV工件）、无语义失效的运行时重用以及完整PlaceMem。

仅文本基线刻意采用提示层，因为当没有可重用计算工件可用时，当前智能体记忆堆栈通常通过这种方式消费检索文本。试点保留了真实的控制平面、准入和边车路径，但将最终令牌生成器替换为对重放模式敏感的流式模拟（固定SSE载荷，可配置令牌间延迟，因此TTFT仅反映控制平面胶囊查找和边车路由开销），以便在全集群vLLM评估之前隔离跨层重用和失效行为。因此，我们使用此试点直接测试感知纠正的控制平面论点，同时将更深入的重放感知引擎集成视为后续工作。

在当前试点中，我们报告平均首词延迟、重放重用率、纠正后的过时命中计数和失效开销，因为这些今日已完全可执行端到端，并直接测试感知纠正的控制平面行为是否改变了重用的正确性-延迟权衡。

表2：使用实时控制平面、路由边车和对重放模式敏感的模拟后端，在支持、编码和事实修订轨迹的48轮范围内进行聚合试点比较。表2 (https://arxiv.org/html/2607.04089#S5.T2)强化了主要系统主张。相对于仅提示执行，仅运行时重用和完整PlaceMem在此受控后端上将平均首词延迟降低了约61-63%。关键区别在于纠正处理：禁用失效保留了延迟优势，但产生了17次过时后纠正重用，而完整PlaceMem在消除过时命中的同时保留了延迟优势。完整系统中的平均失效开销在三个纠正事件上为1.09毫秒。*注意：此处的TTFT是对流式模拟的控制平面和边车路由延迟；数值不反映生产GPU上的实际前缀填充节省。*

表3：在LiquidAI/LFM2.5-230M上的真实后端比较。前三行：实时纠正跟随探针（每个条件下9个纠正后查询×3个工作负载族 = 每个条件27个纠正后轮次）。最后一行：完整340轮基准测试的3次重复部署吞吐量验证。后纠正准确性衡量实时模型是否返回纠正后的答案；过时选择衡量控制平面是否选择了失效胶囊。表3 (https://arxiv.org/html/2607.04089#S5.T3)整合了真实vLLM后端上的延迟和行为故事。纠正跟随探针使用受控任务：每个场景在活跃胶囊摘要中注入结构化规范标识符，实时模型的响应是否包含纠正后的标识符而非过时的标识符来衡量准确性，从而隔离控制平面是否转发正确摘要，而非测试开放式生成质量。三条件比较显示了为什么失效重要：没有它，控制平面在纠正事件后选择过时胶囊，模型收到过时摘要，后纠正准确性降至零。完整PlaceMem消除了过时选择，同时匹配了无失效重用条件下的TTFT（20.54毫秒对比20.73毫秒），确认感知纠正的控制以零延迟成本增加了保真度。文本摘要基线达到完全准确性，但平均TTFT为36.08毫秒，相对于完整PlaceMem有75%的开销。部署吞吐量行确认原型在真实vLLM部署上端到端运行。

## 6 相关工作

智能体记忆系统（Generative Agents、Reflexion、MemGPT）建模要记住什么以及如何检索，但缺乏