Agent Memory Distillation:利用层级教师记忆赋能小型LLM智能体
摘要
本文介绍了Agent Memory Distillation(AMD),一种无需训练的框架,通过层级记忆将结构化知识从大型教师智能体迁移到小型学生智能体,在工具使用基准测试上的性能提升达3.4–27.2个百分点。
查看缓存全文
缓存时间: 2026/08/11 06:19
论文页面 - Agent Memory Distillation:为小型 LLM Agent 赋予层次化教师记忆
来源:https://huggingface.co/papers/2608.07169
摘要
记忆系统在提升 Agent 性能方面展现出巨大潜力,但其在小型语言模型上的应用仍 largely 未被探索——这些模型难以自行生成足够成功的轨迹。我们提出 Agent Memory Distillation(AMD),一种免训练框架,通过层次化记忆将结构化知识从大型教师 Agent 迁移至小型学生 Agent。AMD 从成功的教师轨迹中构建三种互补的记忆类型:工作流记忆(Workflow memory)编码任务级策略,子任务记忆(Subtask memory)以中间粒度提供具体行为示例,函数记忆(Function memory)捕获每个函数调用的惯例和常见陷阱。工作流记忆和子任务记忆在每个任务开始时主动注入,而函数记忆则在工具调用出错时被动检索。我们在三个工具使用基准上评估 AMD,使用四种学生模型(4B-8B 参数),以 GPT-5-mini 作为教师,在 AppWorld、BFCLV3 和 Tool Sandbox 上分别实现了平均 27.2 个百分点、11.2 个百分点和 3.4 个百分点的准确率提升,并持续优于现有基于记忆的基线。进一步分析表明,子任务记忆贡献最大,教师有效性同时取决于教师能力与学生兼容性,而 4B 规模的学生从 AMD 中受益最多。
查看 arXiv 页面(https://arxiv.org/abs/2608.07169)查看 PDF(https://arxiv.org/pdf/2608.07169)项目页面(https://agent-memory-distillation.github.io/)GitHub0(https://github.com/taeilkim2465/agentic_memory_distillation)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2608.07169)
在您的 Agent 中获取此论文:
hf papers read 2608\.07169
没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型0
没有模型关联此论文
请在模型 README.md 中引用 arxiv.org/abs/2608.07169,即可从此页面链接到该模型。
引用此论文的数据集0
没有数据集关联此论文
请在数据集 README.md 中引用 arxiv.org/abs/2608.07169,即可从此页面链接到该数据集。
引用此论文的 Space0
没有 Space 关联此论文
请在 Space README.md 中引用 arxiv.org/abs/2608.07169,即可从此页面链接到该 Space。
包含此论文的收藏0
没有收藏包含此论文
将此论文添加到收藏(https://huggingface.co/new-collection)即可从此页面链接到该收藏。
相似文章
DELTAMEM:基于残差树的LLM智能体增量经验记忆
DeltaMem将LLM智能体记忆组织成残差树,以减少冗余和检索冲突,存储经验的增量变体以支持持续学习。
DuoMem: 面向设备端能力型内存代理的双空间蒸馏框架
DuoMem 是一种双空间蒸馏框架,通过上下文空间蒸馏和参数空间蒸馏,将大型语言模型的过程性问题解决能力迁移至紧凑的学生模型,以极少的额外参数实现高性能并提升推理速度。该框架在 ALFWorld 上,将 4B 参数规模模型的任务成功率从 4.3% 提升至 77.9%。
ActiveMem:面向长程LLM推理的分布式主动记忆
ActiveMem提出了一种分布式主动记忆系统,将智能体记忆与大模型核心推理过程解耦,在长程任务上实现了最先进的准确率,同时显著降低了开销。
AdMem:面向任务求解智能体的高级记忆系统
本文介绍AdMem,一种面向基于LLM的智能体的统一记忆框架,整合语义记忆、情景记忆和程序性记忆,并采用双层短期与长期存储结构,通过多智能体架构实现自动记忆生成与自适应检索。实验表明,该方法在长程多轮任务中提升了鲁棒性和成功率。
AgentBrew: 从强教师到弱LLM代理的终身知识酿造
AgentBrew 提出了一种无需训练的方法,将知识从强教师 LLM 代理蒸馏到弱学生代理,通过失败触发的反思循环和感知学生的合成来创建可执行的笔记,提高了编码、数学和工具使用任务的性能,而无需更新权重。