论文页面 - LatentSkill：从上下文文本技能到LLM智能体的权重内隐技能

来源：https://huggingface.co/papers/2606.06087 作者：

，

，

，

，

，

，

，

，

，

摘要

LatentSkill 通过将文本技能转换为存储在权重空间中的 LoRA 适配器，实现了智能体系统中文本技能的高效部署，在减少上下文开销的同时保持了模块化和可组合性。

智能体系统越来越多地使用文本技能来编码可重复的任务流程，但每次在提示中注入这些技能都会带来大量的上下文开销，并将技能内容以明文形式暴露。我们提出了 LatentSkill，这是一个通过预训练超网络将文本技能转换为即插即用型 LoRA 适配器的框架。LatentSkill 将技能知识存储在权重空间而非上下文空间中，消除了每一步的技能标记，同时保留了模块化加载、缩放和组合能力。在 ALFWorld 和 Search-QA 上，LatentSkill 在显著减少预填充标记的前提下，性能优于相应的上下文技能基线：在 ALFWorld 的可见和不可见分片上，它以 64.1% 更少的预填充标记分别提升了 21.4 和 13.4 个百分点的成功率；在 Search-QA 上，以 72.2% 更低的技能标记开销提升了 3.0 个百分点的精确匹配率。进一步分析表明，生成的技能 LoRA 形成了结构化的语义几何，可以通过 LoRA 缩放系数精确控制，并且在技能组件对齐时可以通过参数空间算术进行组合。这些发现表明，权重空间技能为扩展 LLM 智能体提供了一种高效、模块化且暴露程度更低的基板。

查看 arXiv 页面 (https://arxiv.org/abs/2606.06087) 查看 PDF (https://arxiv.org/pdf/2606.06087) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.06087)

在你的智能体中获取此论文：

hf papers read 2606.06087

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2606.06087 以在此页面建立链接。

引用此论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.06087 以在此页面建立链接。

引用此论文的 Space 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2606.06087 以在此页面建立链接。

包含此论文的收藏 0

没有收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 以在此页面建立链接。