论文页面 - 面向大型语言模型的自适应多分辨率程序性知识压缩技术

来源：https://huggingface.co/papers/2606.12203

摘要

SKIM 是一种自适应多分辨率软令牌压缩框架，能够在高效压缩程序性技能的同时保持任务性能，并支持对频繁更新的社区技能进行轻量级离线压缩。

大型语言模型（https://huggingface.co/papers?q=Large%20language%20models）被广泛用于处理具有自主工作流的复杂任务。近年来，可复用的自然语言技能（https://huggingface.co/papers?q=reusable%20natural%20language%20skills）已成为将程序性知识（https://huggingface.co/papers?q=procedural%20knowledge）注入 LLM 应用的热门范式。由于常用技能往往被反复调用，将其完整文本放入每个上下文会显著增加预填充成本和延迟。虽然文本压缩（https://huggingface.co/papers?q=text%20compression）技术有潜力解决这一问题，但现有方法大多针对文档中的事实性知识而非程序性知识（https://huggingface.co/papers?q=procedural%20knowledge）进行压缩，因此不足以应对技能压缩（https://huggingface.co/papers?q=skill%20compression）。本文认为，有效的技能压缩（https://huggingface.co/papers?q=skill%20compression）方法应满足：1）保留工作流与工具协议之间的逻辑依赖关系；2）支持对频繁更新的社区技能进行轻量级离线压缩；3）能够适应不同技能的复杂度变化。为此，我们提出了 SKIM（SKIll coMpression，https://huggingface.co/papers?q=SKIll%20coMpression），一种面向程序性技能的自适应多分辨率软令牌压缩框架。根据每个技能的复杂度，SKIM 创建不同数量的软令牌（https://huggingface.co/papers?q=soft%20tokens），这不仅提高了 LLM 推理（https://huggingface.co/papers?q=LLM%20inference）的效率，还保持了技能使用的有效性。实验表明，SKIM 能将技能压缩至原始令牌长度的 30% 到 60%，同时在任务性能（https://huggingface.co/papers?q=task%20performance）保持方面优于现有压缩方法。我们已在 https://github.com/bebr2/SKIM 发布了代码。

查看 arXiv 页面（https://arxiv.org/abs/2606.12203）查看 PDF（https://arxiv.org/pdf/2606.12203）GitHub（https://github.com/bebr2/SKIM）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.12203）

在您的智能体中获取此论文：

hf papers read 2606.12203

没有最新 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2606.12203 即可从此页面链接。

引用此论文的数据集0

无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.12203 即可从此页面链接。

引用此论文的 Spaces 空间0

无 Space 空间关联此论文

在 Space 空间的 README.md 中引用 arxiv.org/abs/2606.12203 即可从此页面链接。

包含此论文的收藏集0

无收藏集包含此论文

将此论文添加到一个收藏集（https://huggingface.co/new-collection）中即可从此页面链接。