MASkills：多智能体LLM系统的持续技能优化

# MASkills：面向多智能体大语言模型系统的持续技能优化
来源：https://arxiv.org/html/2609.02094
姚怀远 刘晓欧 查尔斯·弗莱明 陈天龙 魏华  
所属机构：亚利桑那州立大学\{huaiyuan，xiaoouli，hua\.wei\}@asu\.edu  
所属机构：思科研究院chflemin@cisco\.com  
所属机构：北卡罗来纳大学教堂山分校tianlong@cs\.unc\.edu

###### 摘要

基于大语言模型的多智能体系统在复杂任务上展现出强大性能，然而从交互经验中持续改进仍具挑战。现有的自我反思方法构建了经验记忆，但记忆大多难以调用、优化或扩展，而智能体技能提供了一个更可操作的单元：结构化的程序知识，明确何时行动、如何行动以及使用哪些资源或工具。我们引入MASkills，一个通过智能体技能优化多智能体大语言模型系统的持续学习框架。MASkills提出了一个新的智能体优化流水线，集成了技能条件信用分配、分层信用聚合和平滑动量优化，使智能体技能库能够通过优化、归纳、整合和修剪不断演进。在HotpotQA、LoCoMo和GAIA上的实验证明了MASkills在多个智能体任务中的有效性。我们的代码可在https://github.com/DaRL-GenAI/MASkills获取。

## 1 引言

基于大语言模型的多智能体系统已成为通过协调、角色专化和长程交互解决复杂任务的实用范式\[1 (https://arxiv.org/html/2609.02094#bib.bib1),2 (https://arxiv.org/html/2609.02094#bib.bib2),3 (https://arxiv.org/html/2609.02094#bib.bib3)\]。然而，如何让多智能体大语言模型系统随时间持续改进仍然是一个挑战。现有方法通常使用自我反思来构建经验记忆\[4 (https://arxiv.org/html/2609.02094#bib.bib4),5 (https://arxiv.org/html/2609.02094#bib.bib5)\]。这类记忆可以保存有用的经验，但它们仍然是持续改进的薄弱基础：它们记录了过去轨迹中发生了什么，但未记录哪些行动策略应被重用；它们缺乏可靠的调用条件；并且随着记忆增长，有用的教训与嘈杂、冗余或过时的自由形式记录混杂在一起\[6 (https://arxiv.org/html/2609.02094#bib.bib6)\]。

一个更有用的持续改进单元是“技能”。根据Anthropic \[7 (https://arxiv.org/html/2609.02094#bib.bib7)\]，技能是一个结构化的程序知识包，它告诉智能体如何执行一类任务，包括何时调用它、如何行动、使用哪些资源或工具。技能使经验可重用：智能体可以从轻量级描述中发现相关技能，按需加载详细的指令和资源，并随着新经验的积累对其进行优化。这种渐进式公开设计使技能比大型非结构化记忆存储更具可扩展性和可操作性。最近的方法\[8 (https://arxiv.org/html/2609.02094#bib.bib8),9 (https://arxiv.org/html/2609.02094#bib.bib9),10 (https://arxiv.org/html/2609.02094#bib.bib10)\]开发了此类可重用的程序抽象，但主要仍是单智能体的，并且没有在决定多智能体系统团队级效用的协调动态下优化技能。

将技能演进扩展到多智能体环境，需要智能体通过交互优化其技能，使得技能更新不仅反映个体结果，还反映其对团队级协调的贡献。这一目标提出了三个具体挑战：
(1) 技能级信用分配。团队奖励不仅要归因于正确的智能体，还要归因于正确的技能。在多智能体环境中，一个技能可能只在少数时间步被调用，其效果与其他智能体的行为和技能交织在一起。因此，团队级甚至智能体级的反馈不足以确定应改进哪些具体技能。
(2) 噪杂且异构的交互。从轨迹中提取的基于语言的反馈通常具有噪声、不一致且在不同学习周期中不稳定。此外，多智能体系统可能在非常不同的协调结构下运行，例如集中式规划或去中心化对等通信，这导致了不同的交互依赖模式和信用传播模式。
(3) 离散且高风险的技能更新。与参数向量不同，技能是离散的语言工件，如SKILL\.md文件、脚本和参考文档。因此，技能演进需要开放式的结构修改，而非平滑的数值更新。错误的编辑可能直接改变智能体的有效行动空间，使得持续技能优化本质上具有高风险且难以稳定。

为应对这些挑战，我们引入MASkills，一个基于语言的持续学习框架，直接在智能体的技能空间而非参数空间中进行策略改进。在去中心化执行下，每个智能体在其潜在策略推理中调用可重用的技能工件，而系统则通过语言空间优化持续演进这些技能。MASkills采用统一的语言空间策略梯度风格框架，遵循TextGrad \[11 (https://arxiv.org/html/2609.02094#bib.bib11)\] 和LangMARL \[12 (https://arxiv.org/html/2609.02094#bib.bib12)\] 的结构化解释，包含三个对应于上述挑战的组件：(1) 技能条件信用分配，其中评论家通过反事实比较将轨迹反馈归因于特定的技能调用；(2) 分层信用聚合和平滑动量优化，稳定跨轨迹、智能体、技能和交互拓扑的噪声反馈；(3) 信用驱动的技能空间优化，其中稳定的信用信号驱动技能优化、归纳、整合和修剪，以及保留验证和回滚机制。

我们的贡献总结如下：(1) 我们引入了一种新的多智能体大语言模型持续学习范式，将策略改进视为对从交互轨迹中蒸馏出的可重用技能空间进行优化。(2) 我们提出了MASkills，一个多智能体技能优化的持续学习框架，结合技能条件信用分配、聚合和优化，通过优化、归纳、整合和修剪来演进智能体技能库，以及通过保留验证和回滚实现稳定更新。(3) 我们在HotpotQA、LoCoMo和GAIA上评估了MASkills，展示了在记忆和智能体任务上的强大性能。

## 2 相关工作

#### 智能体技能发现。

Voyager \[13 (https://arxiv.org/html/2609.02094#bib.bib13)\] 为具身大语言模型智能体开创了不断增长的技能库。最近的工作从三个互补方向扩展了这一范式。MemSkill \[8 (https://arxiv.org/html/2609.02094#bib.bib8)\] 将记忆操作本身视为一个可学习的技能库：控制器为每个文本片段选择Top-K个技能子集，大语言模型执行器应用它们，设计者定期从聚类的困难案例中修订该库。EvoSkill \[9 (https://arxiv.org/html/2609.02094#bib.bib9)\] 将技能发现视为迭代文本反馈下降：执行器运行任务，提议者诊断故障，技能构建者将提议具体化为结构化的SKILL\.md文件夹，仅当它们改进了保留验证集时才保留在帕累托前沿上。PolySkill \[10 (https://arxiv.org/html/2609.02094#bib.bib10)\] 引入了多态抽象，将技能的抽象目标与其具体的、特定于站点的实现分离，实现了跨网站的迁移。然而，这些方法假设单智能体反馈，无法直接将团队级结果归因于交互的智能体和技能。

#### 多智能体大语言模型系统。

大语言模型多智能体框架，如AutoGen \[14 (https://arxiv.org/html/2609.02094#bib.bib14)\]、MetaGPT \[15 (https://arxiv.org/html/2609.02094#bib.bib15)\]、智能体神经网络 \[16 (https://arxiv.org/html/2609.02094#bib.bib16)\] 和符号学习 \[17 (https://arxiv.org/html/2609.02094#bib.bib17)\] 已经证明，在大语言模型之间分工可以提高复杂任务的覆盖率。这些系统大多依赖手工设计的角色和提示 \[18 (https://arxiv.org/html/2609.02094#bib.bib18),19 (https://arxiv.org/html/2609.02094#bib.bib19),20 (https://arxiv.org/html/2609.02094#bib.bib20)\]；少数实现自我改进的，要么通过全局重写提示，如TextGrad \[11 (https://arxiv.org/html/2609.02094#bib.bib11)\]、DSPy \[21 (https://arxiv.org/html/2609.02094#bib.bib21)\]，要么共享一个记忆，如Reflexion \[22 (https://arxiv.org/html/2609.02094#bib.bib22)\]。LangMARL \[12 (https://arxiv.org/html/2609.02094#bib.bib12)\] 在语言空间优化中引入了显式的信用分配。

## 3 问题形式化

我们在协作多智能体环境、技能工件和基于语言的信用概念之上形式化MASkills。

#### 协作多智能体环境。

我们将一个由N个大语言模型智能体组成的团队建模为一个分散式部分可观测马尔可夫决策过程 (Dec-POMDP)
\mathcal{M}=\langle S,\{A\_{i}\}\_{i=1}^{N},\{O\_{i}\}\_{i=1}^{N},P,R,\gamma\rangle \\quad (1)
智能体共享一个团队奖励 r\_{t}=R(s\_{t},a\_{t}^{1},\dots,a\_{t}^{N})，每个智能体 i 执行一个分散策略 \pi\_{i}(a\_{t}^{i}\mid o\_{t}^{i})，该策略将其局部观测映射到一个行动。团队目标是期望折扣回报 J(\pi)=\mathbb{E}\_{\pi}[\sum\_{t}\gamma^{t}r\_{t}]。MASkills继承了这个Dec-POMDP，并通过一个技能库重新参数化每个 \pi\_{i}。

#### 技能工件。

遵循 \[9 (https://arxiv.org/html/2609.02094#bib.bib9)\]，我们将每个技能工件建模为一个结构化的、基于文件系统的表示。对于智能体 i，第 j 个技能工件定义为
k\_{i}^{(j)}=\left(y\_{i}^{(j)},m\_{i}^{(j)},\mathcal{R}\_{i}^{(j)}\right), \\quad (2)
其中 y\_{i}^{(j)} 表示元数据文件，例如 skill\.yaml；m\_{i}^{(j)} 表示程序指令文件，例如 SKILL\.md；以及 \mathcal{R}\_{i}^{(j)} 表示一组辅助资源，例如脚本、参考文档、资产和配置文件。在诸如Claude/Codex风格的技能实现中，这种表示通常对应于包含一个程序指令文件和可选资源文件夹的目录，而某些变体将元数据分离到一个专门的 skill\.yaml 文件中。这种结构支持简洁的程序抽象、可操作的执行指导、分层公开和可重用的技能组合。

每个智能体 i 维护一个演进的*技能库* \mathcal{K}\_{i}=\{k\_{i}^{(1)},k\_{i}^{(2)},...,k\_{i}^{(M\_{i})}\}，其中 M\_{i} 表示智能体 i 当前可用的技能数量。我们将 \mathcal{K}\_{i} 视为智能体 i 策略的可学习组件。因此，MASkills优化的是参数化分散智能体行为的可重用结构化工件。

#### 技能空间优化。

经典多智能体强化学习优化网络参数 \theta，而MASkills直接优化智能体的技能库：
\max\_{\{\mathcal{K}\_{i}\}\_{i=1}^{N}} \ \mathbb{E}\_{\tau\sim\pi(\cdot\mid\{\mathcal{K}\_{i}\})}\bigl[R(\tau)\bigr]. \\quad (3)
这里的优化变量 \{\mathcal{K}\_{i}\} 是技能工件。我们通过一个语言空间策略梯度风格的框架来逼近公式 (3)，遵循由TextGrad \[11 (https://arxiv.org/html/2609.02094#bib.bib11)\] 引入的结构化解释。这个类比是概念性的而非可微的：去中心化的轨迹 rollout 提供轨迹采样，语言评论家提供技能级的优势反馈，分层聚合和平滑动量近似于蒙特卡洛期望和方差缩减，而信用驱动的技能编辑算子充当每个 \mathcal{K}\_{i} 上的伪梯度更新。在本文中，“梯度”、“优势”和“动量”等术语应理解为语言空间类比，而非字面意义上的导数。

图例说明： MASkills 流水线概览，作为策略优化的四步语言空间类比。智能体执行技能以生成轨迹，接收技能条件的语言信用，聚合时间上稳定的优势，并通过优化、归纳、整合和修剪更新技能库。

## 4 MASkills框架

MASkills将技能空间目标操作化为一个闭环过程，结构上类似于策略梯度的语言空间模拟：去中心化 rollout 产生技能轨迹；语言评论家发出每个智能体、每个技能的反事实信用；基于批次的分层聚合器加上跨周期的动量平滑产生时间上稳定的优势；这个优势在保留验证下，驱动每个技能空间上的四个信用驱动算子，如图 1 (https://arxiv.org/html/2609.02094#S3.F1) 所示。

### 4.1 多智能体技能执行

每个智能体都是一个配备了技能空间 \mathcal{K}\_{i} 的大语言模型。在 rollout 时，来自每个 skill\.yaml 的轻量级元数据（例如技能名称和简短描述）被注入智能体提示，向模型暴露当前可用的技能。然后智能体自主决定是否调用技能、调用哪个技能以及在推理过程中如何组合多个技能。

技能作为可调用的工具暴露，而非完全展开的提示。当选中一个技能时，其对应的 SKILL\.md 和辅助资源 \mathcal{R} 被动态加载到上下文中。这使活动上下文保持紧凑，同时支持专门的程序行为。形式上，智能体策略以其局部观测 o\_{t}^{i}、交互历史 h\_{t}^{i} 和技能空间 \mathcal{K}\_{i} 为条件：
a\_{t}^{i}\sim\pi\_{\theta}\bigl(\cdot\mid o\_{t}^{i},\mathcal{K}\_{i},h\_{t}^{i}\bigr). \\quad (4)
令 c\_{t}^{i}\in\mathcal{K}\_{i}\cup\{\varnothing\} 表示智能体 i 在时间步 t 调用的技能，其中 c\_{t}^{i}=\varnothing 表示智能体直接行动而未加载技能。由于技能调用是显式的工具调用，由此产生的技能轨迹 \xi\_{i}=\{(t,c\_{t}^{i})\}\_{t=0}^{T-1} 可以直接从执行日志中观察到。

由此产生的轨迹变为 \tau=\bigl\langle s\_{0},\{a\_{0}^{i},\xi\_{0}^{i}\}\_{i=1}^{N},\dots,s\_{T}\bigr\rangle，通过添加显式的技能调用记录来增强标准多智能体轨迹，这为后续支持技能级信用分配奠定基础。

### 4.2 细粒度技能信用分配

在技能级优化大语言模型智能体需要识别哪些被调用的技能实际导致了团队成功或失败。仅智能体级反馈是不够的：单个轨迹可能涉及多个智能体之间的多个交互技能，而只有一小部分可能对最终结果负责。

因此，MASkills在单个技能调用的粒度上分配信用。给定一个具有技能轨迹