管理LLM智能体中的程序性记忆:控制、适应与评估
摘要
介绍了AFTER,一个包含382个企业任务的基准,用于评估LLM智能体中的程序性记忆,表明技能迁移能提升跨任务、角色和模型骨干的性能,部分技能广泛泛化,而另一些则专业化。
查看缓存全文
缓存时间: 2026/07/01 11:42
论文页面 - 管理LLM代理中的程序性记忆:控制、适应与评估
来源:https://huggingface.co/papers/2606.23127
摘要
程序性记忆通过跨角色和模型的技能迁移增强了LLM代理在工作场所任务中的表现,而不同的泛化能力会影响部署策略。
程序性记忆(https://huggingface.co/papers?q=Procedural%20memory)越来越多地被用于改进LLM代理(https://huggingface.co/papers?q=LLM%20agents)在重复性工作场所任务中的表现,但其生成可复用技能的能力仍缺乏深入理解。我们引入了AFTER基准测试,包含382项真实企业任务(https://huggingface.co/papers?q=enterprise%20tasks),涵盖六个专业角色和22项程序性技能(https://huggingface.co/papers?q=procedural%20skills),旨在评估技能如何跨任务、角色和模型主干进行迁移。该基准测试包括本地改进、跨任务迁移(https://huggingface.co/papers?q=cross-task%20transfer)、跨角色迁移(https://huggingface.co/papers?q=cross-role%20transfer)和跨模型泛化(https://huggingface.co/papers?q=cross-model%20generalization)等受控评估设置。实验表明,程序性记忆(https://huggingface.co/papers?q=procedural%20memory)在工业工作流中带来了持续的性能提升:单次优化轮次可将聚合性能(https://huggingface.co/papers?q=aggregate%20performance)提升3.7-6.7个百分点,而基于多样化多模型执行轨迹(https://huggingface.co/papers?q=multi-model%20execution%20traces)演化的技能实现了73.1%的跨模型测试准确率,优于所有单模型轨迹来源。我们进一步发现,某些技能可以广泛泛化到不同任务和模型中,而其他技能则特定于角色相关的工作流,在迁移时效果会下降。这些结果为在生产级代理平台中构建、评估和部署程序性记忆系统提供了实用指导。
查看arXiv页面(https://arxiv.org/abs/2606.23127)查看PDF(https://arxiv.org/pdf/2606.23127)GitHub1(https://github.com/DavydenkoGr/AFTER)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2606.23127)
在您的代理中获取此论文:
hf papers read 2606\.23127
没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型0
无模型链接此论文
在模型README.md中引用arxiv.org/abs/2606.23127以链接到此页面。
引用此论文的数据集1
DavydenkoGr/AFTER 更新于1天前 • 1.01k • 2 (https://huggingface.co/datasets/DavydenkoGr/AFTER)
引用此论文的Spaces0
无Space链接此论文
在Space README.md中引用arxiv.org/abs/2606.23127以链接到此页面。
包含此论文的收藏集0
无收藏集包含此论文
将此论文添加到收藏集(https://huggingface.co/new-collection)以链接到此页面。
相似文章
AdMem:面向任务求解智能体的高级记忆系统
本文介绍AdMem,一种面向基于LLM的智能体的统一记忆框架,整合语义记忆、情景记忆和程序性记忆,并采用双层短期与长期存储结构,通过多智能体架构实现自动记忆生成与自适应检索。实验表明,该方法在长程多轮任务中提升了鲁棒性和成功率。
从存储到经验:大语言模型智能体记忆机制演进综述
本综述论文提出了一种大语言模型(LLM)智能体记忆机制的演进框架,将其发展划分为三个阶段:存储、反思和经验。文章分析了长程一致性和持续学习等核心驱动力,旨在为下一代智能体的设计提供指导原则。
@dair_ai: // Neural procedural memory // 关于超越提示检索的智能体记忆的好论文。NPM 将程序性技能存储为激活…
本文介绍了神经程序性记忆(Neural Procedural Memory,NPM),这是一种无需训练的框架,通过从对比历史经验中提炼的激活引导向量来存储程序性技能,使得LLM智能体能够在不依赖纯文本指令的情况下执行技能。
MemGym:面向LLM智能体的长时记忆环境
MemGym是一个基准测试,用于评估LLM智能体在长时任务中的记忆形成,它统一了现有的智能体gym和合成流水线,并采用记忆隔离得分。它涵盖工具使用对话、多轮搜索、编码和计算机使用,并包含一个轻量级奖励模型(MemRM)以实现高效评估。
SkillLearnBench:面向真实任务代理技能生成的持续学习方法基准
SkillLearnBench 推出首个评估 LLM 代理持续技能学习的基准,覆盖 20 项真实任务,结果显示尚无方法全面领先,单纯扩大模型规模也无法保证技能提升。