AIP:一种用于学习和管理智能体技能的图表示方法

arXiv cs.AI 论文

摘要

智能体指令协议(AIP)提出将 AI 智能体技能建模为带有 schema 验证 YAML 规范的有向执行图,以取代自由形式的文本指令。实验表明,AIP 编译将 Claude Sonnet 在 27 个真实智能体任务上的平均任务奖励从 0.60 提升至 0.71,通过率从 53% 提升至 67%。

arXiv:2606.04781v1 公告类型:新论文 **摘要:** 当前的智能体技能(Agent Skills)大多以自由形式的文本描述为主,要求智能体在每次会话中自行阅读、理解并重新推导行动方式。这带来了双重叠加成本:一是在实现细节繁多的任务上可靠性下降;二是技能的创建与改进困难重重——编辑文本是一个脆弱的过程,无论是人类还是智能体都难以驾驭,尤其对于模型训练数据中代表性不足的领域特定程序性知识更是如此。 智能体指令协议(AIP)通过将技能建模为有向执行图来同时解决上述两个问题:以离散步骤作为节点,每个节点由确定性脚本或自然语言描述支撑;节点之间通过显式类型化的输入/输出边相连;整体由经过 schema 验证的 YAML 规范进行约束。此外,AIP 还提供了一个编译器元技能,可将现有的人工编写技能转换为该形式。 其优势体现在两个方面。**其一**,将人工编写的技能编译为 AIP 后,Claude Sonnet 在 SkillsBench 的 27 个真实智能体任务上的平均任务奖励从 0.60 提升至 0.71,通过率从 53% 提升至 67%——这一提升具有统计显著性(Wilcoxon 符号秩检验 p = 0.011),在 12 个任务上胜出,仅在 2 个任务上落败,13 个任务持平——且往往耗时更短。执行图直接向智能体提供经过验证的可运行单元,而非要求其从自然语言重新推导代码、命令和工具调用。**其二**,在技能的创建与改进方面,由于每项技能均经过 schema 验证、支持功能测试,且可按节点逐一定位,因此故障可被精确诊断和修复。两个人工编写技能的失败案例均被追溯至脚本级别。在调整 AIP 规范并重新编译后,两者均得到恢复,且零回归(其中一个任务从 0/5 恢复至 5/5),将技能改进变成了一个可量化的调优循环,而非对文本的反复重写。这一图结构同样支持语料库级别的治理与技能自省,并为在技能上进行强化学习提供了自然的动作空间。
查看原文
查看缓存全文

缓存时间: 2026/06/05 02:09

# AIP:一种用于学习和管理 Agent 技能的图表示方法
来源:https://arxiv.org/html/2606.04781

###### 摘要

当前的 Agent 技能(Agent Skills)主要由自由格式的散文构成,要求 Agent 在每次会话中自行阅读、解释并重新推导出行动方案。这带来了两方面叠加的代价:在实现密集型任务上可靠性降低,以及技能的创建与改进困难重重——因为编辑散文是一个脆弱的过程,无论是人类还是 Agent 都难以驾驭,尤其是对于在模型训练数据中代表性不足的领域特定程序性知识。Agent Instruction Protocol(AIP)通过将技能建模为有向执行图来解决上述问题:离散步骤作为节点,由确定性脚本或自然语言描述作为支撑;节点之间通过带有明确类型的输入/输出边相连;整体结构由经过 schema 验证的 YAML 规范进行管理。一个编译器元技能(compiler meta-skill)可将现有的人工编写技能转换为这种形式。其优势体现在两个方面。第一,将人工编写的技能编译为 AIP 格式后,Claude Sonnet 在 SkillsBench 的 27 个真实 Agent 任务中,平均任务奖励从 0.60 提升至 0.71,通过率从 53% 提升至 67%——这是统计显著的提升(Wilcoxon 符号秩检验 $p=0.011$),在 12 个任务上获胜,2 个任务落败,13 个任务持平——且通常用时更短。执行图将经过验证的、可运行的单元直接提供给 Agent,而无需让其从自然语言中重新推导代码、命令和工具调用。第二,在技能创建与改进方面,由于每个技能都经过 schema 验证、可进行功能测试,且可以逐节点寻址,故障可以被精确诊断和修复。两个人工编写技能的失败被追溯至脚本层面。在调整 AIP 规范并重新编译后,两者均得以恢复,且无任何回归(其中一个任务从 0/5 提升至 5/5),将技能改进转变为一个可量化的调优闭环,而非对散文的反复改写。同样的图结构还支持语料库级别的治理与技能内省,并为基于技能的强化学习提供了自然的动作空间。

## 1\. 引言

*Agent Skills*(Anthropic,2025 [](https://arxiv.org/html/2606.04781#bib.bib18))由 Anthropic 于 2025 年推出并随后作为开放标准发布,已迅速成为封装可复用 Agent 能力的主流表示形式。一个技能是一个以 `SKILL.md` 文件为核心的目录:YAML 前置元数据声明了 `name` 和 `description`,其后是自然语言指令、可选脚本以及供 Agent 按需加载的参考文件,加载方式采用*渐进式披露(progressive disclosure)*。这种格式的吸引力在于,它让广泛的领域专家——而不仅仅是模型开发者——能够以轻量、人类可读的形式将程序性知识传递给 AI Agent(Bakal,2026 [](https://arxiv.org/html/2606.04781#bib.bib20)),而精心策划的技能可在多个领域显著提升任务成功率(Li 等,2026 [](https://arxiv.org/html/2606.04781#bib.bib1))。

然而,`SKILL.md` 是一个相对自由格式的 Markdown 文档,整个技能作为自然语言上下文被消费。因此,这种表示方式继承了若干局限性,随着 Agent 被部署于更困难的实现密集型任务,以及该领域越来越多地借助 Agent 来维护和改进技能,这些局限性愈发凸显:

1. (1)**技能既不捕获也不强制执行结构,导致速度和可靠性的损失。** 部分上下文和判断确实难以形式化,但技能中的大量程序性知识可以表达为可运行代码和显式的工作流步骤图——这越来越成为构建可靠 Agent 的方式(LangChain,2025 [](https://arxiv.org/html/2606.04781#bib.bib2);Google,2025 [](https://arxiv.org/html/2606.04781#bib.bib3);Schluntz 和 Zhang,2024 [](https://arxiv.org/html/2606.04781#bib.bib4))。技能允许这些逻辑以自由散文的形式留存,供 Agent 在运行时推导,因此在每次新会话中,Agent 都要重新规划任务所需的代码、命令和工具调用;在实现密集型任务上,这不仅缓慢且耗费大量 token,还会导致 Agent 采取不同的、有时甚至是错误的执行路径——通过单次运行的负担和运行间的差异,双重削弱可靠性。将确定性步骤交由经过验证的可运行代码(Gao 等,2023 [](https://arxiv.org/html/2606.04781#bib.bib11);Chen 等,2023 [](https://arxiv.org/html/2606.04781#bib.bib12))和显式结构化工作流(Schluntz 和 Zhang,2024 [](https://arxiv.org/html/2606.04781#bib.bib4))承担,而非每次重新推导,已被证明能提升可靠性。因此,一种能够可靠地将此类可结构化知识编译为可运行代码和执行图(Khattab 等,2023 [](https://arxiv.org/html/2606.04781#bib.bib5))的机制,有望显著提升技能性能。

2. (2)**技能的创建与调优仍是一个缓慢且反复的过程。** 技能必须像提示词一样进行调优。一个主要由自由散文构成的技能在每次运行时都由 Agent 读取和重新解释,因此继承了提示词众所周知的脆弱性:措辞或格式上语义保持不变的微小改动,可能导致任务准确率波动数十个百分点(Sclar 等,2024 [](https://arxiv.org/html/2606.04781#bib.bib19))——因此,一个有效的技能既难以调对,又容易失效。

3. (3)**Agent 辅助及技能自我改进仍面临挑战。** 一个技能只有在编码了模型训练数据中代表性不足的程序性知识时才值得发布(Li 等,2026 [](https://arxiv.org/html/2606.04781#bib.bib1);Bakal,2026 [](https://arxiv.org/html/2606.04781#bib.bib20));否则 Agent 自己就已经掌握了。因此,技能由专家编写,但由于上述挑战,越来越多地借助 Agent 来帮助*修订*,而该领域正在推动 Agent 自我改进和基于技能的强化学习(Gao 等,2025 [](https://arxiv.org/html/2606.04781#bib.bib21);Zweiger 等,2025 [](https://arxiv.org/html/2606.04781#bib.bib22);Robeyns 等,2025 [](https://arxiv.org/html/2606.04781#bib.bib23);Xu 和 Yan,2026 [](https://arxiv.org/html/2606.04781#bib.bib24))。这之所以困难,有两个叠加的原因:材料本身就是陌生的——Agent 正在修订它自己并不了解的领域特定程序;而自由散文又没有给它提供任何有界的编辑面。在没有约束的情况下,Agent 的追加偏好(additive bias)得不到遏制:输出偏向冗长和啰嗦(Singhal 等,2024 [](https://arxiv.org/html/2606.04781#bib.bib26);Zhang 等,2024 [](https://arxiv.org/html/2606.04781#bib.bib27)),Agent 倾向于过度设计和堆砌,而非精炼(Licoris 等,2025 [](https://arxiv.org/html/2606.04781#bib.bib28))。技能因此膨胀并变得复杂,意图发生偏移,一处修复悄悄破坏另一处,而缺乏外部反馈的内在自我修订往往使质量保持不变甚至下降(Huang 等,2024 [](https://arxiv.org/html/2606.04781#bib.bib30);Xu 等,2024 [](https://arxiv.org/html/2606.04781#bib.bib31))。没有更结构化的表示,技能改进既缺乏强大的自然反馈循环,也没有有界的动作空间。

4. (4)**因果关系与治理难以建立。** 自由散文没有清晰可寻址的单元:当技能产生错误结果时,没有节点、步骤或类型化值可以精确归因失败;一个散文技能的语料库也无法被系统地审计以发现缺失的验证或审批步骤。这与大规模治理 Agent 系统所要求的可追溯性和问责制相悖(Saini,2026 [](https://arxiv.org/html/2606.04781#bib.bib32))。

Agent Instruction Protocol(AIP)[^1] 通过将技能建模为有向执行图来解决上述问题。离散步骤成为节点,每个节点由确定性脚本支撑;在需要人类判断力的地方,则使用自然语言描述。节点通过带类型的输入/输出边相连,整体结构由经过 schema 验证的 YAML 规范管理。一个编译器元技能允许 Agent 在编写时将现有人工编写的技能转换为这种形式,在运行时故障发生之前就能发现歧义、类型错误和字段不一致。

[^1]: 目前 AIP 以*规范*的形式实现——一种由 Agent 读入上下文并遵循的、经过 schema 验证的执行图格式。我们保留*协议*这一术语,用以指代该格式所定义的类型化契约,以及一个将强制执行图遍历和本地/远程技能调用的运行时;我们将其作为未来工作提出(第 6.3 节 [](https://arxiv.org/html/2606.04781#S6.SS3))。

至关重要的是,AIP 并不取代人工编写:专家仍然编写技能,编译器将其人工编写的源码转换为类型化、有脚本支撑的形式——这种形式既能改善 Agent 当前*执行*技能的可靠性(这是我们所展示的结果),也是我们认为未来 Agent 辅助改进和强化学习更好基础的结构支撑。

我们在 SkillsBench(Li 等,2026 [](https://arxiv.org/html/2606.04781#bib.bib1))上评估 AIP 相对于人工策划技能的表现——该基准包含 8 个领域的 94 个 Agent 任务——采用分层抽样的 27 个任务,以 Claude Sonnet 作为求解器。将技能编译为 AIP 在任务奖励上产生了统计显著的提升(Wilcoxon 符号秩检验 $p=0.011$),我们发现 AIP 技能的失败可以在节点层面进行诊断和修正——得益于由清晰的类型化执行图 I/O 结构连接的编码脚本——且不会引发其他地方的回归。这表明 AIP 的优势可能在 Agent 自我改进和强化学习(RL)中进一步放大,因为类型化执行图为技能学习提供了一个有界的、有效性门控的动作空间(Sutton 和 Barto,2018 [](https://arxiv.org/html/2606.04781#bib.bib15))。

**贡献。** 本工作做出如下贡献:

- **多模式基准测试框架。** 对 SkillsBench 的扩展,支持在真实求解器下对技能*格式*和技能*编写方法*进行受控的对比评估。

- **任务奖励提升的实证证据。** 将人工编写的技能编译为 AIP 显著提升了 27 个任务的任务奖励(平均奖励 $0.599 \rightarrow 0.705$,$+0.106$;Wilcoxon $p=0.011$),且机制被定位于可执行性和程序一致性。

- **技能自我改进的可行机制展示。** 在早期实验中,两个编译器编写的失败模式由 Agent(Claude Code)在节点和脚本层面被诊断出来。在本案例中,通过编辑 AIP 规范加以修正,并在零回归的情况下得到恢复——但该工具链展示了诊断–编辑–重编译–评估循环的强大潜力,配以可量化的奖励信号,是 Agent 辅助改进乃至自主自我改进和基于技能强化学习的可行基础。

- **语料库级治理与检查的路径。** 由于每个技能都是类型化的、经过 schema 验证的图,AIP 技能库可被查询和检查:可审计缺失的验证或审批步骤,发现共享的子程序,并从可复用的节点模板组合技能。投影到图数据库中,同样的结构支持访问控制和可视化内省——技能的步骤及其类型化输入/输出以图的形式呈现(图 2 [](https://arxiv.org/html/2606.04781#S3.F2))——将治理从手动文档审查转变为对类型化图的结构化查询。随着 Agent 日益自主并开始运行自己的自我改进循环,这种可检查的表面是保持人类监督和理解可操作性的关键。

## 2\. 背景

现代 LLM Agent 通过将自然语言推理与对外部工具的调用交织进行来完成任务——运行代码、查询系统、编辑文件——并观察结果(Yao 等,2023 [](https://arxiv.org/html/2606.04781#bib.bib9);Schick 等,2023 [](https://arxiv.org/html/2606.04781#bib.bib34))。由于许多任务会重复出现,这些 Agent 越来越多地依赖可复用的*技能*:封装的程序性知识——指令,有时还包含代码——告诉它们如何执行一类任务(Wang 等,2023 [](https://arxiv.org/html/2606.04781#bib.bib10))。Anthropic 的 Agent Skills 将此标准化为一个目录中的 `SKILL.md` 文件,以及 Agent 按需加载的可选资源(图 1 [](https://arxiv.org/html/2606.04781#S2.F1))(Anthropic,2025 [](https://arxiv.org/html/2606.04781#bib.bib18);Agent Skills,2025 [](https://arxiv.org/html/2606.04781#bib.bib17))。

```
技能目录
pdf-processing/
  SKILL.md          # 必需:YAML 前置元数据 + 指令
  scripts/          # 可选:可执行代码(如 extract.py)
  references/       # 可选:Agent 按需加载的文档
  assets/           # 可选:模板、资源

SKILL.md
---
name: pdf-processing
description: 从 PDF 中提取文本和表格、填写表单并合并文件。
            处理 PDF 文档时使用。
---
# PDF 处理

## 提取文本
运行 'scripts/extract.py';它为每页写入一个文本块...

## 填写表单
关于字段映射规范,请参阅 references/forms.md...
```

**图 1.** Agent Skill 是一个以 `SKILL.md` 文件为核心的目录——YAML 前置元数据(必需的 `name` 和 `description`)后跟自由格式的 Markdown 指令——以及可选的 `scripts/`、`references/` 和 `assets/`,Agent 仅在任务需要时加载它们(*渐进式披露*)(Agent Skills,2025 [](https://arxiv.org/html/2606.04781#bib.bib17))。

技能的程序主要存在于其 `SKILL.md` 的自由格式 Markdown 正文中(图 1 [](https://arxiv.org/html/2606.04781#S2.F1)),Agent 在运行时读取并解释;尽管格式允许捆绑脚本,但在实践中,大部分程序仍以散文形式存在。

**图与结构化 Agent 工作流。** 在工业界,Agent 开发框架已经开始使用图来表示 Agent 工作流,其中节点是离散步骤,边承载节点间传递的数据。这包括 LangGraph 和 Google 的 Agent Development Kit(ADK)等框架(LangChain,2025 [](https://arxiv.org/html/2606.04781#bib.bib2);Google,2025 [](https://arxiv.org/html/2606.04781#bib.bib3))。更早之前,DSPy——一个用于构建 AI 系统的 Python 框架——使用声明式流水线,这些流水线可以被编译而非手工编写,以自动优化语言模型的提示方式(或微调方式),取代脆弱的、手动调优的提示模板(Khattab 等,2023 [](https://arxiv.org/html/2606.04781#bib.bib5));Anthropic——Claude 系列模型和 Agent Skill 规范背后的 AI 安全与研究公司——也建议在可预测性和可靠性至关重要的场景中使用预定义的结构化工作流(Schluntz 和 Zhang,2024 [](https://arxiv.org/html/2606.04781#bib.bib4));专项基准测试同样发现,为 Agent 提供显式工作流结构能改善其规划能力(Xiao 等,2024 [](https://arxiv.org/html/2606.04781#bib.bib6))。

来自我们所使用的同一基准的证据证实了这一点的重要性:在 SkillsBench 上,最有帮助的技能将聚焦的指导与可执行代码和参考文件相结合,而冗长全面的散文有时甚至会损害性能(Li 等,2026 [](https://arxiv.org/html/2606.04781#bib.bib1))——结构,而不仅仅是内容,决定了技能的有效程度。AIP 将这种图视图引入技能本身:技能成为一个由类型化步骤构成的执行图,每个步骤由脚本或自然语言描述支撑。

**技能的评测。** 我们基于 SkillsBench(Li 等,2026 [](https://arxiv.org/html/2606.04781#bib.bib1))开展工作——这是一个容器化基准测试,用于隔离技能的效果。每个任务将自然语言指令与沙箱环境和程序化验证器配对,通过……

相似文章

AIPO:通过与主动交互学习推理

arXiv cs.CL

本文介绍了 AIPO,一种强化学习框架,通过允许模型在探索过程中主动咨询协作智能体,从而克服能力边界,提升大语言模型的推理能力。

多智能体系统

Reddit r/artificial

一位社区成员分享了一个多智能体AI系统(AIPass)的GitHub仓库,希望获得关于其功能和潜在应用的反馈。

利用 Agent Skills 为智能体装备真实世界能力

Anthropic Engineering

Anthropic 推出「Agent Skills」开放标准,通过可组合的指导指令与脚本目录,为 AI 智能体赋予领域专属专业能力。该框架提升了 Claude Code 等智能体的可移植性与专业化程度,且无需进行定制化模型训练。