SkillSmith：学习组合参数技能与文本知识

来源：https://arxiv.org/html/2607.27497
\uselogo\correspondingauthor [email protected], [email protected]
Benedict Aaron Tjandra（同等贡献）\thepa
Siavash Samiei\thepa
Adhiguna Kuncoro\thepa
Zohar Yahav\thepa
Jiajun Shen\thepa
Arthur Szlam\thepa

摘要

由大型语言模型（LLM）驱动的智能体系统通常具备两个关键机制，以自主解决复杂问题：一是从过往经验中综合基于文本的知识与流程，二是为反复出现的子目标构建参数化（权重空间）技能库。迄今为止，研究大多将这两者视为正交方向：要么通过组合与反思来组织文本知识，要么通过权重空间合并来整合参数化技能。因此，将文本与模型权重无缝整合以实现针对性性能提升的研究仍然十分匮乏。本工作通过将模型权重视为 LLM 能够原生推理的额外模态，弥合了这一模态鸿沟。我们通过前缀微调实例化参数学习，并增强 LLM，使其能够同时吸收前缀权重以及描述与目标能力之间关系的丰富文本数据。我们称这种增强后的 LLM 为 SkillSmith，它综合这些输入以执行指令引导的参数合成（instruction-steered parametric synthesis），直接输出体现目标技能的新前缀权重。我们证明，我们的方法显著优于仅文本和仅权重空间的基线，能够实现单模态（仅文本或仅权重）适应无法企及的性能提升。

关键词：模型合并、KV 缓存、持续学习、前缀微调

1 引言

LLM［gpt4,gemini25,claude3,qwen25,gemmateam2025gemma3technicalreport］已经从静态对话界面演变为能够解决需要复杂多步推理问题的智能体系统驱动者［metr,sima2,imo2025］。这些系统有效性的核心在于它们从过往经验中学习和适应的能力。目前，这种适应由两种强大但相互隔离的机制驱动。第一种是基于文本知识的综合，智能体使用自然语言——例如自我反思［shinn2023reflexion,self-refine,renze2024selfreflection］、结构化记忆［mem0,a-mem,open-source-phoenix］或提示生成［promptagent,gepa］——来指导未来的推理与规划。第二种是通过参数高效微调（PEFT）［shekar2025adaptive］构建参数化技能库，将学到的行为整合为模块化权重，这些权重可以被检索并独立使用，或与其他技能合并，以高效处理重复出现的子目标［huang2023lorahub,pfeiffer2020adapterhub］。尽管智能体研究蓬勃发展［sun2025training,zhang2025agentic,zhou2025memento］，但迄今为止，社区大多将基于文本的推理与参数化技能获取视为正交方向。我们认为这种割裂限制了智能体系统的潜力。让智能体能够无缝地同时推理权重空间和文本，有望解锁跨参数技能的组合泛化［dziri2023faith,keysers2019measuring,lake2018generalization］，而且额外的好处是，组合与泛化的轴可以通过指令文本灵活引导。

作为一个具体例子，考虑一个智能体已经开发了一组用于解决各种子任务的模型（参数化技能），同时拥有一套丰富的基于文本的部署策略。假设通过过往用户交互，该智能体在一次会话中训练了一个用于英语到契维语翻译的前缀缓存［prefix-tuning］，并在另一次会话中编写了关于分析英语法律文件的全面笔记。当遇到一个新任务（例如分析一份用契维语撰写的法律文件）时，智能体推理出解决方案需要结合其先前技能：英语到契维语翻译、契维语语言建模和法律文件分析。然而，尽管智能体可以在文本层面表述这种迁移，但目前没有任何机制能让它利用这种推理以及权重空间中的翻译技能和契维语语言技能，直接为新问题合成相应的任务权重。

参见图注
图 1：SkillSmith 流水线（i）和架构（ii）的高层概览。由文本和前缀缓存权重组成的源任务包——以及关于这些任务包如何综合以帮助目标任务的文本推理——作为输入馈送给增强后的 LLM，以直接生成将用于调制下游 LLM 以完成目标任务的前缀缓存。

本工作朝着文本与基于权重的智能体产物无缝组合迈出了初步步伐。我们提出将权重空间输入视为一种额外的模态，可以由适当增强的预训练 LLM 原生处理。这种增强后的 LLM——我们称之为 SkillSmith——被训练为同时推理文本和权重空间输入，从而能够直接生成面向特定任务的参数化技能以供下游部署（图 1 (https://arxiv.org/html/2607.27497#S1.F1)）。具体来说，我们首先将参数化技能学习实例化为前缀微调［prefix-tuning］。然后训练 SkillSmith 摄入（i）前缀权重以及关于这些权重所解决问题的丰富文本元数据，以及（ii）捕捉（权重/）技能与期望目标能力之间功能关系的额外文本元数据。目标能力通过高层文本描述或少量示例指定，SkillSmith 输出的前缀权重以端到端方式直接在目标任务上进行优化，如 liu2024deliberation。为了证明 SkillSmith 能够灵活地将文本和基于权重的智能体产物组合成目标技能，我们做出以下贡献：

• •我们针对前缀微调提供了仅权重空间合并方法的全面基线研究。据我们所知，现有 PEFT 合并工作主要聚焦于 LoRA 模块［prabhakar2025lora,zhao2024merging,lora］，因此缺乏对前缀微调简单合并方法的广泛基准测试。
• •为了大规模研究混合模态组合，我们需要稳健的数据集，其中任务之间的真实关系是已知的。为此，我们贡献了一个数据生成工作流，用以生成 Composite SNI——一个合成组合泛化数据集。通过系统地提示 Gemini 2.5［gemini25］生成需要结合 Super Natural Instructions（SNI）数据集［wang2022super］中两个输入任务技能组合的任务，我们创建了一个特定目标能力的真实输入任务已知的设置。我们将展示，我们可以有效地引导这些合成数据，在任务数量有限的场景中快速启动文本和权重组合的学习。
• •使用 4B Gemma 3 模型［gemmateam2025gemma3technicalreport］同时作为 SkillSmith 和下游任务求解器，我们展示了 SkillSmith 在三个数据集（Composite SNI、SNI 和 MMLU-ProX［mmluprox］）上优于标准零样本和权重空间组合基线。此外，我们证明 SkillSmith 是一种极为优越的参数初始化方法；在目标任务上微调由我们的 SkillSmith 生成的前缀权重，所得表示在性能上优于或可与所有其他研究方法相媲美，包括从上下文示例初始化的前缀缓存的直接训练。
• •最后，我们引入了一种基于检索器的方法，适用于输入任务到目标任务能力的真实映射未知的设置。我们表明，即使在这种嘈杂的设置中，SkillSmith 也能够从候选源任务中提取并组合相关信号（如果存在的话），并利用这些信号生成在同等条件下优于基线的前缀权重。

最终，SkillSmith 证明了语言模型可以像处理文本一样原生地推理（它们自己的）模块化权重，从而为更全面的智能体架构提供了蓝图。我们的结果强调，将参数空间视为一种可读、可合成的模态，为针对性适应提供了明显更优的初始化，促进了智能体技能的可扩展且有效的组合。

2 相关工作

基于文本的智能体适应。 现代 LLM 驱动的智能体严重依赖过往经验来解决复杂问题。迄今为止，这种适应几乎完全由基于文本知识的综合驱动。智能体通过自我反思［self-refine,renze2024selfreflection,shinn2023reflexion］、结构化记忆［mem0,open-source-phoenix］和提示优化［gepa,promptagent］等机制，利用自然语言指导未来规划。虽然文本为表达任务迁移提供了一种高度灵活且可组合的媒介，但它严格受限于推理时的上下文长度：尽管可以通过在上下文中列出所有文本示例来完整指定一个任务，但这无法扩展。

参数化技能获取与权重合并。 相反，参数高效微调（PEFT）通过将学到的行为整合为高效、模块化的权重来使语言模型适应下游任务［peft-survey-2024］。适配器［adapter-1,adapter-2,adapter-3］、LoRA［lora］和提示或前缀微调［prompt-tuning,prefix-tuning］等技术允许模型构建参数化技能库。先前工作利用这些组件通过权重迁移进行行为迁移，例如 SPoT［spot］、ATTEMPT［attempt］、AdapterHub［pfeiffer2020adapterhub］和 LoRAHub［huang2023lorahub］。然而，这些方法依赖于浅层算术运算——如简单平均、拼接或路由——这在数学上是刚性的，未能利用被合并任务之间丰富的语义关系。

通过超网络弥合模态鸿沟。 尽管进展迅速，社区大多仍将基于文本的推理与参数化技能获取视为正交方向。通过统一这些分离的范式，我们旨在实现真正的组合泛化［dziri2023faith,keysers2019measuring,lake2018generalization］。我们不执行浅层任务算术，而是将 LLM 用作超网络［shenaj2025lora］。与现有超网络方法不同，我们的方法被设计为原生处理权重空间输入——特别是前缀 KV 缓存，之所以选择它们是因为文本片段可以通过标准前向传播自然转化为缓存——同时处理文本元数据。通过将参数空间视为可读且可合成的模态，SkillSmith 将智能体的文本推理转化为指令引导的参数合成。

3 使用 SkillSmith 桥接文本与参数模态

我们关注的场景是：智能体在其学习过程中能够同时积累文本和权重空间产物来解决问题。我们假设智能体随时间遇到的任务具有足够的相关性，使得新任务可以通过综合过往经验中的相关信息来解决。我们在下面具体化我们的问题设置：

3.1 预备知识

设 \mathcal{T}{src} 为智能体之前遇到的所有任务的集合。我们将每个任务 T_i \in \mathcal{T}{src} 与一个任务包 b_i=(m_i,w_i) 关联，其中 m_i 是学到的 PEFT 模块，w_i 表示与任务相关的文本元数据，例如上下文学习（ICL）演示或任务反思［shinn2023reflexion］。尽管模块 m_i 在概念上可以代表任何 PEFT 方法，但本工作特别关注前缀微调。因此，每个 m_i 是一个与预先指定、冻结的基础模型 M_\phi 关联的键值（K-V）前缀缓存。选择前缀微调的原因是，文本片段可以通过 M_\phi 的前向传播自然地转化为 K-V 缓存。这提供了先验信心：通过学习从零训练的参数化 K-V 缓存与直接从文本派生的 K-V 缓存之间的关系，弥合模态鸿沟是可行的。

3.2 问题陈述

考虑一个智能体面临需要解决的新任务 T_{new}。我们的目标是生成一个新的 PEFT 模块 m_{new}，它能够解决智能体可能遇到的 T_{new} 的实例。基线方法是仅使用 T_{new} 的数据训练一个全新的 PEFT 模块；然而，这未能利用存储在智能体历史经验 \mathcal{T}{src} 中的潜在有用信息。因此，我们假设智能体可以访问先前遇到的源任务的子集 \mathcal{T}{src}\big[T_{new}\big]={T_{1},\dots,T_{N}}，该子集被认为与构建 T_{new} 的解决方案相关¹¹¹ 事先找到这种绝对的真实映射可能具有挑战性，但我们的检索实验表明，简单的基于嵌入的检索技术提供了有效的近似。。存在利用 \mathcal{T}{\text{src}}[T{new}] 的单模态策略，但它们的孤立特性带来了局限性：

• 仅文本策略： 可以聚合来自源任务的所有可用文本元数据，即 ICL 示例和反思，并将其与 T_{new} 的文本元数据直接组合，作为解决 T_{new} 的上下文数据。虽然这种方法高度灵活，但计算代价高昂，且受推理时上下文长度的限制。
• 仅权重空间策略： 可以使用标准权重空间合并技术（例如平均）从与 \mathcal{T}{src}[T{new}] 中任务关联的相关训练模块 {m_i} 进行初始化，并可选地在 T_{new} 的数据上对合并后的权重进行后续调优。虽然推理高效，但算术合并忽略了文本元数据中表达的丰富功能关系。

我们认为，这些孤立的方法未能最大限度地重用构建 \mathcal{T}{src} 所花费的计算，并且它们错失了通过跨交错模态综合信息所能实现的性能提升。因此，我们被激励回答：**我们如何桥接这些模态，有效结合来自 \mathcal{T}{\text{src}}[T_{\text{new}}] 的基于文本和权重空间的产物，以构建一个确定性地优于纯单模态基线的 m_{\text{new}}？**

3.3 SkillSmith 架构

参见图注
图 2：供协同处理器处理的任务包的连续表示。

鉴于上述单模态方法的局限性，我们引入 SkillSmith（图