来自Meta的新研究。（收藏起来）它探讨了如何修复那些会遗忘先前决策的智能体。众所周知，长期任务的智能体会不断遗忘自己已经做出的决策。Meta的研究人员将这种失败命名了一个名称：行为状态衰减（behavioral state decay），即任务事实、之前的尝试、未完成的子目标被埋没在上下文窗口中，或被推到窗口之外，从而不再影响下一步行动。他们的解决方案是：在未修改的行动智能体旁边运行一个独立的内存智能体。该内存智能体从最近的轨迹中维护一个结构化的内存库，并在每一步决定是注入一条基于内存的提醒，还是保持沉默。该模块可与前沿智能体和现有框架即插即用。它提升了Terminal-Bench 2.0和tau-squared-Bench上弱智能体和强智能体的pass@1。总体而言，他们发现，主动在正确时机呈现正确事实的记忆，比仅当智能体想到询问时才触发的被动检索更有用。论文：https://arxiv.org/abs/2607.08716 在我们的学院中学习构建有效的AI智能体：https://academy.dair.ai

在关键时刻记住：面向长期任务智能体的主动记忆智能体

来源: https://arxiv.org/html/2607.08716 Lizhu Zhang, Yuhang Zhou, Mingyi Wang, Bo Peng, Serena Li, Xiangjun Fan, Zhuokai Zhao Meta AI {yfwu, zhuokai}@meta.com (https://arxiv.org/html/2607.08716v1/mailto:%7Byfwu,%20zhuokai%[email protected]) (2026年7月9日)

摘要

在长期任务中，与决策相关的状态常常分散在不断增长的轨迹中，而行动智能体必须找到这些状态并采取行动。随着轨迹的增长，任务要求、环境事实、之前的尝试、诊断以及未完成的子目标可能会被埋没在上下文窗口中，或被推到窗口之外，从而无法在需要时影响决策。我们将这种失败模式称为行为状态衰减。我们将内存视为一种主动干预机制，而非被动检索。一个独立的内存智能体与未修改的行动智能体并行运行，根据最近的轨迹更新结构化的内存库，并决定是注入一条基于内存的提醒还是保持沉默。该模块可即插即用，与前沿行动智能体和现有智能体框架兼容。在Terminal-Bench 2.0和τ²-Bench上，它对弱行动智能体和强行动智能体都提升了pass@1，在Terminal-Bench上提升+8.3个百分点，在τ²-Bench上提升+6.8个百分点。消融实验表明，选择性干预优于被动库暴露、始终注入、仅顾问指导和通用检索。作为迈向开源权重内存策略的初步步骤，我们使用SFT和GRPO在SETA上训练了Qwen3.5-27B，提高了验证奖励，并实现了向Terminal-Bench的部分迁移。

1 引言

LLM智能体越来越多地在长期任务上进行评估，这些任务需要多轮工具使用和环境交互（yao2023react; shinn2023reflexion; wang2024voyager）。这些任务涵盖自主命令行执行（merrill2026terminalbench）、多步机器学习工程（chan2024mlebench）以及基于领域规则的交互式工具使用（yao2024taubench; barres2025tau2bench）。由于此类任务涉及众多观察、行动和部分决策，成功不仅取决于解决每个局部问题，还取决于保留那些应约束未来行为的信息。

然而，智能体常常以暴露出这种状态维护失败的方式出错：它们可能在一项任务早期识别出一个需求，稍后在修复一个无关错误时却违反它；观察到某个命令、参数设置或实现路径失败，随后却重试几乎相同的变体；或者诊断出一个错误模式，随后却将该模式视为新问题处理。这些失败表明，仅仅提供更长的历史记录是不够的。长期任务智能体需要机制来保持与决策相关的执行状态随时间活跃。

我们将这种失败模式称为行为状态衰减：在长期执行过程中，那些本应塑造未来行动的信息——如任务要求、环境事实、先前尝试、失败诊断、中间发现以及未完成的子目标——不再影响智能体的下一个决策。这些信息可能仍然存在于对话记录中，甚至可能仍在模型上下文窗口内，但它们不再能可靠地控制行为（liu2024lost）。这一区分很重要，因为许多记忆方法侧重于信息能否被存储或检索，而长期任务执行还需要决定何时记住的信息应影响智能体的下一个行动。

一个自然的回应是给智能体配备记忆。现有的记忆系统通常强调存储、更新和检索相关记录（packer2023memgpt; zhong2024memorybank; park2023generative; mem0ai2026mem0），这对于个性化、持久用户状态和跨会话回忆至关重要。然而，主动任务执行提出了一个不同的问题：记忆必须决定何时干预。回忆过少会让智能体重复错误或忽略先前的发现；回忆过多会增加延迟、消耗token，并可能分散智能体对局部进展的注意力。有效的长期任务智能体记忆不仅是一个写入和检索问题，还是一个干预问题。

这是一个比摘要更严格的控制问题。摘要器询问要保留什么；我们的记忆询问是否有任何保留的执行状态应该在行动智能体的下一个决策中变得活跃。长期任务的失败模式各不相同——在某些任务中，有用的记忆是初始指令中的硬性要求；在其他任务中，是环境事实、失败命令、错误诊断或未完成的子目标——因此一个固定的摘要策略无法知道某个记忆是否应该中断下一个行动。

我们将记忆作为干预来研究。我们引入一个与未修改的行动智能体并行运行的内存智能体。在固定间隔，它根据最近的轨迹更新一个结构化的内存库，然后决定是否在下一个行动智能体的调用中注入一条简洁的提醒——一个被遗忘的要求、一个稳定的环境事实、一次失败的尝试或一个诊断——或者保持沉默。与被动记忆系统不同，它不仅仅按需检索记录；它决定记忆是否应进入控制循环（zhang2025memact）。与通用顾问模型（asawa2025advisor; anthropic2026advisor）不同，它仅限于基于内存的提醒，而非广泛的战略指导。

我们在Terminal-Bench 2.0（merrill2026terminalbench）和τ²-Bench（yao2024taubench; barres2025tau2bench）上评估了这种架构，涵盖了自主命令行执行和交互式工具使用。以Claude Opus 4.6作为内存智能体，内存干预使Claude Sonnet 4.5在Terminal-Bench上的表现从37.6%提升至45.9%，在τ²-Bench上从55.0%提升至61.8%，并且这种增益对于更强的行动智能体也不会消失：Opus 4.6自身分别获得+2.4和+2.5个百分点的提升。消融实验表明，我们的主动干预优于被动记忆暴露和通用记忆检索。作为迈向开源权重内存策略的初步步骤，我们进一步使用SFT和GRPO微调Qwen3.5-27B作为内存智能体，并观察到增益转移到了保留的Terminal-Bench上。

我们的贡献是： (i) 我们识别出行为状态衰减是长期语言智能体的一个核心失败模式； (ii) 我们提出一种两阶段内存干预架构，将记忆维护与行动选择解耦。我们通过实验表明，内存干预提高了长期任务性能，并且消融实验支持维护记忆加选择性干预； (iii) 作为初步证据，我们表明干预策略可以部分通过学习一个开源权重模型来获得。

2 相关工作

2.1 长期任务语言智能体

语言模型智能体通常被实例化为交错的推理-行动系统，发出工具调用，观察环境反馈，并在多个步骤中修改计划（yao2023react）。最近的基准测试将这一设置推向现实的长期任务，包括命令行环境（merrill2026terminalbench）、带有领域规则的工具-智能体-用户交互（yao2024taubench）、机器学习工程（chan2024mlebench）等。这些设置暴露了单轮推理基准测试未能捕捉的失败：智能体可能重复失败的动作、丢失需求或偏离先前的发现。我们的工作专注于这种形式的行为状态衰减，并研究记忆作为在此类轨迹中维护与决策相关的执行状态的机制。

2.2 语言模型智能体的记忆

大量工作为语言模型增强外部或长期记忆。检索增强模型使用非参数存储来改进事实基础和知识访问（guu2020realm; lewis2020rag），而长上下文记忆架构缓存或检索过去的表示以扩展模型可用的有效上下文（wang2023longmem）。智能体记忆系统进一步将过去的经验组织成自然语言记录，用于长期交互、个性化和行为生成（park2023generative; zhong2024memorybank; packer2023memgpt; zhang2024memorysurvey）。终身智能体如Voyager存储可复用技能并为新任务检索它们（wang2024voyager），而生产级记忆层如Mem0强调持久的用户/会话/智能体记忆，具有高效的存储和检索（mem0ai2026mem0）。我们的工作与这些系统互补。我们不只优化持久记忆存储或检索，而是询问何时应重新激活已记住的执行状态作为持续循环中的干预。

2.3 学习到的记忆策略与上下文管理

长上下文窗口本身并不能保证先前信息的可靠使用：模型可能会根据信息在上下文中的位置而未能充分利用（liu2024lost）。这推动了关于上下文压缩、记忆编辑和可学习上下文策展的工作。Memory-as-Action将工作记忆管理建模为显式的编辑动作，与任务性能联合优化（zhang2025memact）。Context-Folding允许智能体为子任务分支到子轨迹，然后将完成的分支折叠成简洁摘要，并以分解和上下文管理的强化学习奖励作为信号（sun2025contextfolding）。Mem-α训练智能体通过对顺序信息块进行基于工具的操作来管理记忆，并使用整个交互历史的下游问答准确性作为奖励信号（wang2025memalpha）。我们的工作与这些方法共享一个观点，即记忆和上下文管理应该针对下游结果进行优化，但针对的是不同的控制问题。我们不训练行动智能体来策展自己的上下文、优化记忆构建以供后续问答使用，或将完成的子任务折叠成摘要。相反，一个独立的内存智能体反复观察一个实时的多轮任务轨迹，维护结构化的执行状态，并决定该状态的任何部分是否应该干预下一个行动智能体的调用。这创建了一个更异质的信用分配问题：跨任务，记忆可能需要保持沉默、防止重复失败，或重新激活诊断和未完成的子目标，而不必要的干预可能是有害的而不仅仅是多余的。

2.4 反思、评论者与顾问模型

另一条工作线通过反馈、反思或辅助推理来改进智能体。Self-Refine使用自生成反馈迭代改进模型输出（madaan2023selfrefine）；Reflexion将先前尝试的口头反思存储在情景记忆缓冲区中（shinn2023reflexion）；Tree of Thoughts通过搜索中间思维扩展推理时间推理（yao2023tree）。最近，顾问风格的方法使用第二个模型以自然语言引导来指导黑盒或执行者模型（asawa2025advisor; anthropic2026advisor）。我们的记忆智能体与这些监督方法相关，但更加受限：它不旨在提供广泛的战略建议或进行一般性思考。它的输出是基于内存的提醒，来源于维护的执行状态，例如一个任务要求、环境事实、失败尝试、诊断或面临变得行为不活跃风险的未完成子目标。

2.5 定位

综合来看，先前的工作表明记忆、检索、反思、上下文压缩和辅助指导可以改进语言智能体。我们的贡献是将记忆表述为长期执行的选择性干预策略。核心问题不仅在于应该记住或总结什么，还在于记住的执行状态是否、何时以及如何进入行动智能体的上下文，以便在不产生不必要的token或延迟开销的情况下改变下一个决策。由于任务在环境动态、可观察性和失败模式上差异很大，这需要干预校准，而不是一个固定的摘要策略。

3 方法

我们提出一种用于长期语言智能体的内存干预架构。目标是在多步轨迹中维护与决策相关的执行状态，并在该状态可能影响行动智能体下一个决策时选择性重新激活它。我们的方法保持行动智能体不变，并添加一个独立的内存智能体，该智能体观察轨迹、更新结构化的内存库，并决定是否向行动智能体的上下文注入一条简洁的提醒。图1总结了该架构：左侧面板显示了内存智能体如何在运行循环中与行动智能体集成，右侧面板放大了内存智能体的两阶段内部工作流程。

（图1说明） （a）系统集成。行动智能体（左侧）与环境交互；内存智能体（右侧）并行运行，观察最近步骤的滑动窗口和当前内存存储。每N步调用一次内存智能体以更新库，并可选择向下一个行动智能体调用注入上下文提醒。 （b）内存智能体内部。第一阶段通过工具调用管理内存库（状态、知识、程序性条目）。第二阶段读取更新后的库，并发出提醒或什么都不做。 图1：内存干预架构概览。（a）内存智能体作为独立进程与未修改的行动智能体并行运行。（b）在每个内存步骤中，两阶段工作流首先更新结构化的内存库，然后决定任何记住的状态是否应进入行动智能体的下一个决策。

3.1 问题设置

我们考虑一个行动智能体与环境交互，轨迹为τ = (o₁, a₁, o₂, a₂, …, o_T)，其中o_t是第t步的环境观察，a_t是智能体产生的动作。智能体获得任务描述x，并采样a_t ∼ π_A(a_t | x, τ_<t)。