管理LLM智能体中的程序性记忆:控制、适应与评估

Hugging Face Daily Papers 论文

摘要

介绍了AFTER,一个包含382个企业任务的基准,用于评估LLM智能体中的程序性记忆,表明技能迁移能提升跨任务、角色和模型骨干的性能,部分技能广泛泛化,而另一些则专业化。

程序性记忆越来越多地被用于改进LLM智能体在重复性工作场所任务中的表现,但其产生可复用技能的能力仍未被充分理解。我们引入了AFTER,一个包含382个真实企业任务的基准,涵盖六种专业角色和22项程序性技能,旨在评估技能如何在任务、角色和模型骨干之间迁移。该基准包括本地改进、跨任务迁移、跨角色迁移和跨模型泛化的受控评估设置。实验表明,程序性记忆在工业工作流中带来持续增益:单次优化轮次可将综合性能提升3.7-6.7个百分点,而从多样多模型执行轨迹中演化的技能实现了73.1%的跨模型测试准确率,优于所有单模型轨迹来源。我们进一步发现,某些技能在任务和模型间广泛泛化,而另一些则特化于特定角色的工作流,在迁移中失去效果。这些结果为在生产级智能体平台上构建、评估和部署程序性记忆系统提供了实用指导。
查看原文
查看缓存全文

缓存时间: 2026/07/01 11:42

论文页面 - 管理LLM代理中的程序性记忆:控制、适应与评估

来源:https://huggingface.co/papers/2606.23127

摘要

程序性记忆通过跨角色和模型的技能迁移增强了LLM代理在工作场所任务中的表现,而不同的泛化能力会影响部署策略。

程序性记忆(https://huggingface.co/papers?q=Procedural%20memory)越来越多地被用于改进LLM代理(https://huggingface.co/papers?q=LLM%20agents)在重复性工作场所任务中的表现,但其生成可复用技能的能力仍缺乏深入理解。我们引入了AFTER基准测试,包含382项真实企业任务(https://huggingface.co/papers?q=enterprise%20tasks),涵盖六个专业角色和22项程序性技能(https://huggingface.co/papers?q=procedural%20skills),旨在评估技能如何跨任务、角色和模型主干进行迁移。该基准测试包括本地改进、跨任务迁移(https://huggingface.co/papers?q=cross-task%20transfer)、跨角色迁移(https://huggingface.co/papers?q=cross-role%20transfer)和跨模型泛化(https://huggingface.co/papers?q=cross-model%20generalization)等受控评估设置。实验表明,程序性记忆(https://huggingface.co/papers?q=procedural%20memory)在工业工作流中带来了持续的性能提升:单次优化轮次可将聚合性能(https://huggingface.co/papers?q=aggregate%20performance)提升3.7-6.7个百分点,而基于多样化多模型执行轨迹(https://huggingface.co/papers?q=multi-model%20execution%20traces)演化的技能实现了73.1%的跨模型测试准确率,优于所有单模型轨迹来源。我们进一步发现,某些技能可以广泛泛化到不同任务和模型中,而其他技能则特定于角色相关的工作流,在迁移时效果会下降。这些结果为在生产级代理平台中构建、评估和部署程序性记忆系统提供了实用指导。

查看arXiv页面(https://arxiv.org/abs/2606.23127)查看PDF(https://arxiv.org/pdf/2606.23127)GitHub1(https://github.com/DavydenkoGr/AFTER)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2606.23127)

在您的代理中获取此论文:

hf papers read 2606\.23127

没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无模型链接此论文

在模型README.md中引用arxiv.org/abs/2606.23127以链接到此页面。

引用此论文的数据集1

DavydenkoGr/AFTER 更新于1天前 • 1.01k • 2 (https://huggingface.co/datasets/DavydenkoGr/AFTER)

引用此论文的Spaces0

无Space链接此论文

在Space README.md中引用arxiv.org/abs/2606.23127以链接到此页面。

包含此论文的收藏集0

无收藏集包含此论文

将此论文添加到收藏集(https://huggingface.co/new-collection)以链接到此页面。

相似文章

AdMem:面向任务求解智能体的高级记忆系统

arXiv cs.AI

本文介绍AdMem,一种面向基于LLM的智能体的统一记忆框架,整合语义记忆、情景记忆和程序性记忆,并采用双层短期与长期存储结构,通过多智能体架构实现自动记忆生成与自适应检索。实验表明,该方法在长程多轮任务中提升了鲁棒性和成功率。

从存储到经验:大语言模型智能体记忆机制演进综述

Hugging Face Daily Papers

本综述论文提出了一种大语言模型(LLM)智能体记忆机制的演进框架,将其发展划分为三个阶段:存储、反思和经验。文章分析了长程一致性和持续学习等核心驱动力,旨在为下一代智能体的设计提供指导原则。

MemGym:面向LLM智能体的长时记忆环境

arXiv cs.CL

MemGym是一个基准测试,用于评估LLM智能体在长时任务中的记忆形成,它统一了现有的智能体gym和合成流水线,并采用记忆隔离得分。它涵盖工具使用对话、多轮搜索、编码和计算机使用,并包含一个轻量级奖励模型(MemRM)以实现高效评估。