面向长周期智能体的主动记忆（阅读时长16分钟）

# 在关键时刻记住：面向长 horizon 智能体的主动记忆体 Agent  
来源：https://arxiv.org/html/2607.08716  
Lizhu Zhang、Yuhang Zhou、Mingyi Wang、Bo Peng、Serena Li、Xiangjun Fan、Zhuokai Zhao  
Meta AI  
\{yfwu, zhuokai\}@meta\.com  
（2026年7月9日）

###### 摘要  
在长 horizon 任务中，与决策相关的状态常常分散在不断扩展的轨迹中，而行动 agent 必须将其提取出来并采取行动。随着轨迹增长，任务要求、环境事实、先前尝试、诊断以及未完成的子目标可能被埋没在上下文窗口中，甚至被推出窗口之外，从而在需要时无法影响决策。我们将这种失败模式称为*行为状态衰减*。我们将记忆作为一种主动干预机制而非被动检索来研究。一个独立的记忆 agent 与未修改的行动 agent 并行运行，从最近的轨迹中更新结构化的记忆库，并决定是注入一条基于记忆的提醒还是保持静默。该模块可与前沿行动 agent 和现有的 agent 框架即插即用。在 Terminal-Bench 2.0 和 τ²-Bench 上，它对较弱和较强的行动 agent 均提升了 pass@1，其中 Terminal-Bench 提升 +8.3 个百分点，τ²-Bench 提升 +6.8 个百分点。消融实验表明，选择性干预优于被动记忆库暴露、始终注入、仅顾问指导以及通用检索。作为迈向开源权重记忆策略的初步尝试，我们使用 SFT 和 GRPO 在 SETA 上训练 Qwen3.5-27B，提升了验证奖励并实现了向 Terminal-Bench 的部分迁移。

## 1 引言  
LLM agent 越来越多地在需要多轮工具使用和环境交互的长 horizon 任务上进行评估（yao2023react; shinn2023reflexion; wang2024voyager）。这些任务涵盖自主命令行执行（merrill2026terminalbench）、多步骤机器学习工程（chan2024mlebench）以及基于领域规则的交互式工具使用（yao2024taubench; barres2025tau2bench）。由于此类任务涉及大量观察、动作和部分决策，成功不仅取决于解决每个局部问题，还取决于保留应约束未来行为的信息。然而，agent 常常以揭示这种状态维护崩溃的方式失败：它们可能在任务早期识别出一个要求，随后在修复无关 bug 时违反它；观察到某个命令、参数设置或实现路径失败，之后又重试几乎相同的变体；或者诊断出一种错误模式，随后又将其当作新问题对待。这些失败表明，仅仅提供更长的历史记录是不够的。长 horizon agent 需要能够随时间保持决策相关执行状态活跃的机制。我们将这种失败模式称为**行为状态衰减**：在长 horizon 执行过程中，原本应影响未来动作的信息——如任务要求、环境事实、先前尝试、失败诊断、中间发现和未完成子目标——不再对 agent 的下一个决策产生影响。该信息可能仍存在于记录中，甚至可能仍保留在模型的上下文窗口内，但它不再对行为产生可靠的控制（liu2024lost）。这一区别很重要，因为许多记忆方法关注的是信息能否存储或检索，而长 horizon 任务执行还需要决定何时让记忆信息影响 agent 的下一步动作。

自然的应对方式是给 agent 配备记忆。现有的记忆系统通常强调存储、更新和检索相关记录（packer2023memgpt; zhong2024memorybank; park2023generative; mem0ai2026mem0），这对于个性化、持久化用户状态和跨 session 回忆至关重要。然而，主动任务执行引入了一个不同的问题：记忆必须决定*何时*进行干预。暴露过少的记忆会让 agent 重复错误或忽略先前发现；暴露过多则增加延迟、消耗 token，并可能分散 agent 对局部进展的注意力。有效的长 horizon agent 记忆不仅是一个写入和检索问题，更是一个干预问题。这是一个比摘要更强的控制问题。摘要器询问要保留什么；而我们的记忆询问是否有任何保留的执行状态应在行动 agent 的下一个决策中变得活跃。长 horizon 任务的失败模式各不相同——在某些任务中，有用的记忆是初始指令中的硬性要求；在其他任务中，则可能是环境事实、失败命令、bug 诊断或未完成的子目标——因此固定的摘要策略无法知道一段记忆是否应中断下一个动作。

我们将记忆视为干预。我们引入一个记忆 agent，与未修改的行动 agent 并行运行。在固定的时间间隔，它从最近的轨迹更新结构化的记忆库，然后决定是注入一条简洁的提醒（如被遗忘的要求、稳定的环境事实、失败的尝试或诊断）到下一个行动 agent 调用中，还是保持静默。与被动记忆系统不同，它不仅在需要时检索记录；它决定记忆是否应进入控制循环（zhang2025memact）。与通用的顾问模型（asawa2025advisor; anthropic2026advisor）不同，它仅限于基于记忆的提醒，而非广泛的战略指导。

我们在 Terminal-Bench 2.0（merrill2026terminalbench）和 τ²-Bench（yao2024taubench; barres2025tau2bench）上评估该架构，涵盖自主命令行执行和交互式工具使用。使用 Claude Opus 4.6 作为记忆 agent，记忆干预提升了 Claude Sonnet 4.5 在 Terminal-Bench 上（37.6% → 45.9%）和 τ²-Bench 上（55.0% → 61.8%）的表现，并且对于更强的行动 agent 而言，增益并未消失：Opus 4.6 分别获得 +2.4 和 +2.5 个百分点的提升。消融实验表明，我们的主动干预优于被动记忆暴露和通用记忆检索。作为迈向开源权重记忆策略的初步尝试，我们进一步使用 SFT 和 GRPO 微调 Qwen3.5-27B 作为记忆 agent，并观察到增益迁移到了未见的 Terminal-Bench 上。

我们的贡献是：(i) 我们将*行为状态衰减*识别为长 horizon 语言 agent 的一个核心失败模式；(ii) 我们提出了一种两阶段记忆干预架构，将记忆维护与动作选择解耦。实验表明，记忆干预提升了长 horizon 任务性能，消融实验支持维护记忆加选择性干预的方案；(iii) 作为初步证据，我们展示了干预策略可以部分通过开源权重模型学习。

## 2 相关工作  

### 2.1 长 horizon 语言 agent  
语言模型 agent 通常被实例化为交织的推理和行动系统，通过发出工具调用、观察环境反馈并在多个步骤中修订其计划（yao2023react）。最近的基准测试已将该设置推向现实的长 horizon 任务，包括命令行环境（merrill2026terminalbench）、带有领域规则的工具-agent-用户交互（yao2024taubench）、机器学习工程（chan2024mlebench）等。这些设置暴露了单轮推理基准无法捕捉的失败：agent 可能重复失败动作、丢失对要求的跟踪或偏离先前的发现。我们的工作聚焦于这种形式的行为状态衰减，并研究记忆作为在此类轨迹中维护决策相关执行状态的机制。

### 2.2 语言模型 agent 的记忆  
大量工作通过外部或长期记忆增强语言模型。检索增强模型使用非参数存储来改善事实基础和知识访问（guu2020realm; lewis2020rag），而长上下文记忆架构缓存或检索过去的表示以扩展模型可用的有效上下文（wang2023longmem）。Agent 记忆系统进一步将过去的经验组织成自然语言记录，用于长期交互、个性化和行为生成（park2023generative; zhong2024memorybank; packer2023memgpt; zhang2024memorysurvey）。终身 agent 如 Voyager 存储可重用的技能，并为新任务检索它们（wang2024voyager），生产级记忆层如 Mem0 强调通过高效存储和检索实现持久化用户/session/agent 记忆（mem0ai2026mem0）。我们的工作与这些系统互补。我们不是优化持久记忆存储或检索本身，而是询问何时应将记住的执行状态作为干预重新激活到正在进行的循环中。

### 2.3 学习型记忆策略与上下文管理  
长上下文窗口本身并不能保证可靠地使用先验信息：模型可能根据信息在上下文中的位置而利用不足（liu2024lost）。这推动了上下文压缩、记忆编辑和学习型上下文策展的工作。Memory-as-Action 将工作记忆管理形式化为显式的编辑操作，并与任务性能联合优化（zhang2025memact）。Context-Folding 允许 agent 为子任务分支进入子轨迹，然后将完成的子轨迹折叠成简洁的摘要，通过强化学习奖励进行分解和上下文管理（sun2025contextfolding）。Mem-α 训练 agent 通过基于工具的操作管理顺序信息块的记忆，使用对整个交互历史的问答准确性作为奖励信号（wang2025memalpha）。我们的工作与这些方法共享“记忆和上下文管理应针对下游结果进行优化”的观点，但针对的是不同的控制问题。我们不训练行动 agent 来策划其自己的上下文，也不为后续问答优化记忆构建，也不将完成的子任务折叠成摘要。相反，一个独立的记忆 agent 反复观察实时的多轮任务轨迹，维护结构化的执行状态，并决定该状态的任何部分是否应干预下一个行动 agent 调用。这产生了一个更异构的信用分配问题：跨不同任务，记忆可能需要保持静默、防止重复失败，或重新激活诊断和未完成的子目标，不必要的干预可能是有害的而非仅仅是冗余的。

### 2.4 反思、批评者与顾问模型  
另一条工作线通过反馈、反思或辅助推理改进 agent。Self-Refine 使用自我生成的反馈迭代改进模型输出（madaan2023selfrefine）；Reflexion 将先前尝试的口头反思存储在情景记忆缓冲区中（shinn2023reflexion）；Tree of Thoughts 通过搜索中间思想扩展推理时的推理（yao2023tree）。最近，顾问风格的方法使用第二个模型通过自然语言指导引导黑盒或执行模型（asawa2025advisor; anthropic2026advisor）。我们的记忆 agent 与这些监督方法相关，但更受约束：它不旨在提供广泛的战略建议或执行一般性深思。其输出是基于记忆的提醒，来源于维护的执行状态，例如可能变得行为上不活跃的任务要求、环境事实、失败尝试、诊断或未完成的子目标。

### 2.5 定位  
总体而言，先前工作表明记忆、检索、反思、上下文压缩和辅助指导可以改进语言 agent。我们的贡献是将记忆表述为长 horizon 执行的选择性干预策略。核心问题不仅是什么应该被记住或总结，而是被记住的执行状态是否、何时以及如何进入行动 agent 的上下文，从而在不产生不必要的 token 或延迟开销的情况下改变下一个决策。由于任务在环境动态、可观测性和失败模式上差异很大，这需要干预校准而非固定的摘要策略。

## 3 方法  
我们提出了一个用于长 horizon 语言 agent 的记忆干预架构。目标是在多步骤轨迹上维护与决策相关的执行状态，并当该状态可能影响行动 agent 的下一个决策时，有选择地重新激活它。我们的方法保持行动 agent 不变，并添加一个独立的记忆 agent，它观察轨迹、更新结构化的记忆库，并决定是否将一条简洁的提醒注入行动 agent 的上下文。图 1 总结了该架构：左面板展示了记忆 agent 如何在运行循环中与行动 agent 集成，右面板则放大了记忆 agent 的内部两阶段工作流程。

(a) 系统集成。行动 agent（左）与环境交互；记忆 agent（右）并行运行，观察最近步骤的滑动窗口和当前记忆存储。每 N 步调用记忆 agent 以更新记忆库，并可选择性地将上下文提醒注入下一个行动 agent 调用。  
(b) 记忆 agent 内部。阶段 1 通过工具调用管理记忆库（*状态*、*知识*、*过程*条目）。阶段 2 读取更新后的记忆库，并决定发出提醒或保持静默。

图 1：记忆干预架构概览。(a) 记忆 agent 作为一个独立进程与未修改的行动 agent 并行运行。(b) 在每个记忆步骤中，两阶段工作流程首先更新结构化的记忆库，然后决定是否有任何记住的状态应进入行动 agent 的下一个决策。

### 3.1 问题设置  
我们考虑一个行动 agent 与环境交互，生成轨迹 τ = (o₁, a₁, o₂, a₂, ..., oₜ)，其中 oₜ 是步骤 t 的环境观察，aₜ 是 agent 产生的动作。agent 获得任务描述 x，并采样 aₜ ∼ πA(aₜ | x, τ<...>  
（由于输入被截断，我们完成了最后一句的合理部分，但根据原文，此处应继续。原文最后一句为：action agent sampling action from policy given task and trajectory。我们已将其纳入翻译）