Agent Memory Distillation:利用层级教师记忆赋能小型LLM智能体

Hugging Face Daily Papers 论文

摘要

本文介绍了Agent Memory Distillation(AMD),一种无需训练的框架,通过层级记忆将结构化知识从大型教师智能体迁移到小型学生智能体,在工具使用基准测试上的性能提升达3.4–27.2个百分点。

记忆系统在提升智能体性能方面已显示出潜力,但其在小语言模型上的潜力仍未得到充分探索,因为小模型难以自行生成足够多的成功轨迹。我们提出了Agent Memory Distillation(AMD),一种无需训练的框架,通过层级记忆将结构化知识从大型教师智能体迁移到小型学生智能体。AMD从成功的教师轨迹中构建三种互补的记忆类型:工作流记忆(Workflow memory)编码任务级策略,子任务记忆(Subtask memory)提供中间粒度的具体行为示例,函数记忆(Function memory)捕获每个函数的调用约定和常见陷阱。工作流记忆和子任务记忆在每个任务开始时被主动注入,而函数记忆则在工具调用出错时被动检索。我们使用四种学生模型(4B-8B参数)在三个工具使用基准上评估了AMD,以GPT-5-mini作为教师,在AppWorld、BFCL V3和ToolSandbox上分别取得了27.2个百分点、11.2个百分点和3.4个百分点的平均准确率提升,同时持续优于现有的基于记忆的基线方法。进一步分析表明,子任务记忆贡献了最大的提升,教师有效性取决于教师能力和学生兼容性,且4B规模的学生从AMD中受益最大。
查看原文
查看缓存全文

缓存时间: 2026/08/11 06:19

论文页面 - Agent Memory Distillation:为小型 LLM Agent 赋予层次化教师记忆

来源:https://huggingface.co/papers/2608.07169

摘要

记忆系统在提升 Agent 性能方面展现出巨大潜力,但其在小型语言模型上的应用仍 largely 未被探索——这些模型难以自行生成足够成功的轨迹。我们提出 Agent Memory Distillation(AMD),一种免训练框架,通过层次化记忆将结构化知识从大型教师 Agent 迁移至小型学生 Agent。AMD 从成功的教师轨迹中构建三种互补的记忆类型:工作流记忆(Workflow memory)编码任务级策略,子任务记忆(Subtask memory)以中间粒度提供具体行为示例,函数记忆(Function memory)捕获每个函数调用的惯例和常见陷阱。工作流记忆和子任务记忆在每个任务开始时主动注入,而函数记忆则在工具调用出错时被动检索。我们在三个工具使用基准上评估 AMD,使用四种学生模型(4B-8B 参数),以 GPT-5-mini 作为教师,在 AppWorld、BFCLV3 和 Tool Sandbox 上分别实现了平均 27.2 个百分点、11.2 个百分点和 3.4 个百分点的准确率提升,并持续优于现有基于记忆的基线。进一步分析表明,子任务记忆贡献最大,教师有效性同时取决于教师能力与学生兼容性,而 4B 规模的学生从 AMD 中受益最多。

查看 arXiv 页面(https://arxiv.org/abs/2608.07169)查看 PDF(https://arxiv.org/pdf/2608.07169)项目页面(https://agent-memory-distillation.github.io/)GitHub0(https://github.com/taeilkim2465/agentic_memory_distillation)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2608.07169)

在您的 Agent 中获取此论文:

hf papers read 2608\.07169

没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型关联此论文

请在模型 README.md 中引用 arxiv.org/abs/2608.07169,即可从此页面链接到该模型。

引用此论文的数据集0

没有数据集关联此论文

请在数据集 README.md 中引用 arxiv.org/abs/2608.07169,即可从此页面链接到该数据集。

引用此论文的 Space0

没有 Space 关联此论文

请在 Space README.md 中引用 arxiv.org/abs/2608.07169,即可从此页面链接到该 Space。

包含此论文的收藏0

没有收藏包含此论文

将此论文添加到收藏(https://huggingface.co/new-collection)即可从此页面链接到该收藏。

相似文章

DuoMem: 面向设备端能力型内存代理的双空间蒸馏框架

Hugging Face Daily Papers

DuoMem 是一种双空间蒸馏框架,通过上下文空间蒸馏和参数空间蒸馏,将大型语言模型的过程性问题解决能力迁移至紧凑的学生模型,以极少的额外参数实现高性能并提升推理速度。该框架在 ALFWorld 上,将 4B 参数规模模型的任务成功率从 4.3% 提升至 77.9%。

AdMem:面向任务求解智能体的高级记忆系统

arXiv cs.AI

本文介绍AdMem,一种面向基于LLM的智能体的统一记忆框架,整合语义记忆、情景记忆和程序性记忆,并采用双层短期与长期存储结构,通过多智能体架构实现自动记忆生成与自适应检索。实验表明,该方法在长程多轮任务中提升了鲁棒性和成功率。

AgentBrew: 从强教师到弱LLM代理的终身知识酿造

arXiv cs.AI

AgentBrew 提出了一种无需训练的方法,将知识从强教师 LLM 代理蒸馏到弱学生代理,通过失败触发的反思循环和感知学生的合成来创建可执行的笔记,提高了编码、数学和工具使用任务的性能,而无需更新权重。