SkillTrace：面向LLM智能体技能复用的多迹溯源审计

# SkillTrace：面向LLM智能体技能复用的多迹线来源审计
Source: https://arxiv.org/html/2608.05204
Jialuo Chen12, Minghe Wang2, Lingqi Jiang2, Jianan Ma31, Xinhao Deng14, Xiaohu Du1, Ruixiao Lin2, Yunhao Feng5, Linkang Du6, Jingyi Wang2

###### 摘要

LLM智能体生态正围绕可复用技能快速增长：这些技能是混合模态的包，包含元数据、自然语言指令、代码、工具、参考文件以及操作工作流。随着技能成为市场工件，审计其复用不再等同于普通代码克隆检测。现有检测器面向单模态源代码或整包相似度，但技能复用证据分布在作者撰写的文本、实现片段和操作结构中。因此，它们可能遗漏仅保留技能某一部分的复用行为。我们提出SkillTrace，一个面向LLM智能体技能复用的多迹线来源审计框架。SkillTrace提取三条来源迹线：表达迹线、实现迹线和操作迹线。它将操作迹线表示为技能操作图（Skill Operational Graph, SOG），该图捕获激活、流程和资源流结构。LLM仅在摄取时协助一次操作迹线提取；在审计时，SkillTrace以确定性方式比较缓存的迹线，针对同函数严格负样本校准每条迹线，并报告哪条迹线支持复用判定。在SkillTrace-Bench上，基于100个真实市场锚点和751个负对照构建的820个变换后复用正样本，SkillTrace取得了AUROC 0.938和F1 0.898。一项覆盖36,446个技能的真实市场审计进一步表明，迹线归因证据能够生成可操作的复用审查队列，超越了仓库级基线。

## I 引言

LLM智能体生态正围绕*技能*快速增长：技能是可复用包，通过将自然语言指令、可执行片段、工具接口、参考文件和示例加载到上下文，使智能体获得某项能力[5 (https://arxiv.org/html/2608.05204#bib.bib65),4 (https://arxiv.org/html/2608.05204#bib.bib25),3 (https://arxiv.org/html/2608.05204#bib.bib24)]。与传统代码工件不同，技能是混合模态且面向智能体的：其行为不仅由代码塑造，还由指令、激活线索、工具使用规则和工作流描述塑造。随着公共注册表和市场使技能易于发布、适配和再分发[18 (https://arxiv.org/html/2608.05204#bib.bib68)]，技能正成为软件类组件，其复用必须被理解和治理。

复用本身并无害处。开发者可能分叉一个技能、将其适配到另一个宿主、提取有用的脚本、跨注册表移植工作流，或从公共模板实例化多个技能。问题在于来源可见性：当前目录将独立实现、模板生成变体、近重复项和变换派生项混在一起，它们看起来都是独立的市场条目。最近的生态研究报告称存在大量复用和克隆类关系[15 (https://arxiv.org/html/2608.05204#bib.bib51)]，并表明当易受攻击的技能被复制、分叉或重新打包时，可利用缺陷可能传播[21 (https://arxiv.org/html/2608.05204#bib.bib58)]。如果没有来源感知的复用分析，就很难衡量生态增长、构建去重基准、修复传播缺陷或维护质量感知的注册表。其底层任务是来源审计：给定参考技能和候选技能，判断候选技能是否从参考技能继承了携带来源的工件，而不仅仅是服务于相同目的。

现有复用和克隆检测器仅部分适配该场景。源代码克隆检测器如MOSS[32 (https://arxiv.org/html/2608.05204#bib.bib41)]、JPlag[27 (https://arxiv.org/html/2608.05204#bib.bib42)]、Deckard[12 (https://arxiv.org/html/2608.05204#bib.bib43)]和SourcererCC[31 (https://arxiv.org/html/2608.05204#bib.bib46)]是为相对同质的代码基底设计的。仓库级指纹方法如sdhash[29 (https://arxiv.org/html/2608.05204#bib.bib53)]和ssdeep[16 (https://arxiv.org/html/2608.05204#bib.bib67)]比较整包的字节或令牌内容，而扁平文本相似度则将技能压缩为单个文档表示。这些技术对广泛的近重复发现有用，但技能复用证据可能分布在作者撰写的文本、实现片段和操作设计中。仓库级分数无法解释候选技能是继承了脚本、工作流，还是仅继承了一个公共脚手架。

参见图注图1：SkillTrace概览。审计器从参考技能和候选技能包中提取表达迹线、实现迹线和操作迹线。操作迹线被表示为具有激活、流程和资源流视图的技能操作图（SOG）。在审计时，以确定性方式比较缓存的迹线，SkillTrace输出审计报告。核心挑战因此不在于两个技能是否全局相似，而在于哪种来源在变换后仍然存活；这之所以困难，是因为技能的可复用价值分布不均匀。价值通常集中在少数工件中，例如一个调试好的支持脚本，或一个精心设计的工具编排工作流，而不是周围的样板内容。派生技能可以在重新组织文件、重写文档、重命名标识符、将包移植到另一个宿主或填充无关内容的同时，保留这些高价值工件。在此类变换下，全局相似度可能太弱而无法标记出关系，即使具体工件被继承了。相反，两个独立开发的技能如果解决相同任务，可能因为共享模板、API或通用工作流而在全局上相似。因此，技能复用审计必须恢复变换后的继承关系，同时控制在同函数独立技能上的错误归因。

我们的关键洞见是，技能复用会留下互补的迹线。表达证据可能在描述、示例或触发文本被改写时消失；实现证据可能在脚本、命令或API调用被重写时消失；但操作证据往往仍然存在：保留技能功能的派生技能，仍必须保留其大部分激活逻辑、任务流程和资源流。同时重写这三者并非不可能，但这样做接近从头构建一个新技能的成本，从而削弱了最初促使复用的价值。相比之下，同一任务的净室实现可能共享高层任务语义，但不应一致地保留相同的表达选择、实现片段和操作结构。这启发了迹线归因审计：审计器不应只产生一个全局相似度分数，而应询问哪条来源迹线（如果有的话）在候选技能中存活。

基于这一洞见，我们提出SkillTrace，一个用于审计LLM智能体技能复用来源的迹线归因框架。如图1 (https://arxiv.org/html/2608.05204#S1.F1)所示，SkillTrace有两个阶段。在迹线提取阶段，它从每个技能包中提取三条来源迹线：*表达迹线*，捕获作者撰写的自然语言内容；*实现迹线*，捕获可执行实现，如脚本、命令和API使用模式；*操作迹线*，捕获宿主感知的执行设计。操作迹线被表示为具有激活、流程和资源流视图的技能操作图（SOG）。在复用检测阶段，SkillTrace以确定性方式比较缓存的迹线，针对同函数严格负样本校准每条迹线，并输出迹线归因的证据报告供人工审查。表达迹线和实现迹线以确定性方式计算，而LLM仅在摄取时使用一次，将每个技能的混合模态内容归一化为其操作图；随后审计基于缓存的迹线运行，不再需要LLM调用。

为评估SkillTrace，我们构建了SkillTrace-Bench，一个基于真实市场锚点和同函数独立对照的迹线保持基准。该基准包括覆盖重新打包、跨宿主移植或迁移以及部分替换的变换后复用正样本；从真实语料中挖掘的同函数严格负样本；以及仅元数据的净室对照，用于探测基于工件审计的预期边界。我们进一步审计了一个包含36,446个技能的公共语料库，以测试SkillTrace能否在受控基准之外构建可操作的复用审查队列。

我们的贡献包括：

- •我们将LLM智能体技能的事后复用来源审计形式化为一个软件工程问题，处理的对象是异构的LLM智能体技能包，并将继承的来源携带迹线与同函数独立相似度区分开。
- •我们提出SkillTrace，一个迹线归因审计框架，提取表达迹线、实现迹线和操作迹线。其操作迹线被表示为技能操作图，从而提供可审查的证据，说明技能的哪一部分在变换后存活。
- •我们构建了SkillTrace-Bench，一个包含820个变换后复用正样本（基于100个真实市场锚点）和751个负对照的基准。SkillTrace达到AUROC 0.938和F1 0.898。
- •我们进行了一项36,446个技能的市场审计，表明迹线归因证据能够生成可操作的复用审查队列，包括仓库级相似度未予优先处理的迹线特定候选。

## II 背景

### II-A 软件复用检测

软件复用检测长期研究如何识别被复制、适配或独立重实现的代码[30 (https://arxiv.org/html/2608.05204#bib.bib39)]。经典克隆检测器比较归一化令牌流（MOSS[32 (https://arxiv.org/html/2608.05204#bib.bib41)]、JPlag[27 (https://arxiv.org/html/2608.05204#bib.bib42)]、CCFinder[14 (https://arxiv.org/html/2608.05204#bib.bib52)]、SourcererCC[31 (https://arxiv.org/html/2608.05204#bib.bib46)]），而树和图依赖方法则比较结构以抵抗局部编辑（Deckard[12 (https://arxiv.org/html/2608.05204#bib.bib43)]、GPLAG[19 (https://arxiv.org/html/2608.05204#bib.bib54)]）。模糊摘要和相似度度量比较更大规模的工件（sdhash[29 (https://arxiv.org/html/2608.05204#bib.bib53)]、Broder[6 (https://arxiv.org/html/2608.05204#bib.bib56)]），神经表示则提供语义代码或文本相似度信号[9 (https://arxiv.org/html/2608.05204#bib.bib47),35 (https://arxiv.org/html/2608.05204#bib.bib48),28 (https://arxiv.org/html/2608.05204#bib.bib49)]。一个相关的概念是*软件胎记*：一种内在属性，往往能在重命名、重新格式化和局部重构中存活，因为移除它会改变程序行为[33 (https://arxiv.org/html/2608.05204#bib.bib55)]。胎记之所以有用，是因为它们关注承载行为的结构，而不仅仅是表面文本。技能需要一种类似但更广泛的工件模型。一个技能可能在包的其余部分被重写时，保留作者撰写的散文、可执行片段或面向宿主的操作设计。SkillTrace延续了这一脉络，将操作迹线视为技能级操作胎记，同时保留表达迹线和实现迹线用于文本和可执行复用证据。

### II-B LLM智能体技能与工具生态

LLM智能体能力越来越多地被封装为可复用工件[34 (https://arxiv.org/html/2608.05204#bib.bib23),41 (https://arxiv.org/html/2608.05204#bib.bib72),13 (https://arxiv.org/html/2608.05204#bib.bib73)]。OpenAI的GPTs将自定义指令和知识封装，以便通过GPT Store分发[24 (https://arxiv.org/html/2608.05204#bib.bib30),25 (https://arxiv.org/html/2608.05204#bib.bib31)]；Anthropic的Agent Skills定义了以SKILL.md清单为中心的文件系统包，可选的脚本和参考文件会逐步披露给智能体[3 (https://arxiv.org/html/2608.05204#bib.bib24),4 (https://arxiv.org/html/2608.05204#bib.bib25)]；模型上下文协议（MCP）则标准化了跨智能体平台的工具和数据连接[2 (https://arxiv.org/html/2608.05204#bib.bib26),23 (https://arxiv.org/html/2608.05204#bib.bib27),10 (https://arxiv.org/html/2608.05204#bib.bib28),40 (https://arxiv.org/html/2608.05204#bib.bib29)]。近期关于智能体技能和工具生态的研究记录了同样的向可复用、工具介导的智能体执行的转变[17 (https://arxiv.org/html/2608.05204#bib.bib36),36 (https://arxiv.org/html/2608.05204#bib.bib37),21 (https://arxiv.org/html/2608.05204#bib.bib58),20 (https://arxiv.org/html/2608.05204#bib.bib38)]。这种封装现已反映在公共和付费技能市场中。ClawHub111https://clawhub.ai/和SkillHub222https://skillhub.club/index等目录提供带创建者和列表元数据的可复用技能，而Agensi333https://www.agensi.io/等付费市场支持购买和出售技能包。这并不使复用本身成为错误行为，但确实使来源可见性对注册表维护、面向创建者的审查和市场治理具有操作上的重要性。

最接近的度量工作是Kimet al.对agentic-AI生态中工具克隆的研究[15 (https://arxiv.org/html/2608.05204#bib.bib51)]，该研究测量了MCP和Skills仓库的仓库级Jaccard和ssdeep相似度，并手动验证高相似度桶。我们将这一视角用作可部署基线：*RepoClone*表示我们对Kimet al.的仓库级Jaccard/ssdeep相似度在归一化技能包上的实现。我们的审计问题不同：候选技能是否在变换后复用中保留了来源携带的迹线，即使整包相似度很低。

### II-C 提示词与智能体工件保护

提示词级保护是相关的但范围更窄。PromptCARE[39 (https://arxiv.org/html/2608.05204#bib.bib2)]和PromptCOS[37 (https://arxiv.org/html/2608.05204#bib.bib3)]等水印方案在发布前保护提示词，而提示词泄露、窃取和注入方面的研究表明，专有指令在实践中可能被暴露或滥用[11 (https://arxiv.org/html/2608.05204#bib.bib6),38 (https://arxiv.org/html/2608.05204#bib.bib5),8 (https://arxiv.org/html/2608.05204#bib.bib7),22 (https://arxiv.org/html/2608.05204#bib.bib8),26 (https://arxiv.org/html/2608.05204#bib.bib71)]。智能体工件将这一问题扩展到扁平提示文本之外：技能将指令与代码、工具、参考文件和操作流程捆绑在一起。因此，先前的保护机制是对事后复用审计的补充，而非替代。SkillTrace假设两个已发布的包可用，并询问可观察的来源迹线是否在市场变换中存活，而无需修改或水印任一工件。

## III SkillTrace设计

### III-A 问题定义

我们研究*事后技能复用审计*。给定参考技能RR和候选技能CC，目标是判断CC是派生自RR（复用候选），还是独立开发的技能。技能不同于扁平提示词或代码仓库：它可能包含自然语言指令、可执行代码、参考文档和内嵌工作流。因此，复用可能只保留参考技能的一部分。候选技能可能在重写包其余部分的同时，继承参考措辞、可执行实现或操作设计。相反，两个独立开发的技能可能解决相同任务，并共享API或模板，同时没有保留