词汇提示压缩用于大型语言模型：一个无需训练、确定性的管道，包含十一个任务类别的实证帕累托分析

arXiv:2609.13154v1 Announce Type: new 摘要：大型语言模型（LLMs）的最新进展使得提示越来越庞大和复杂。诸如思维链推理（Wei等人，2022）和上下文学习（Brown等人，2020）等技术常常将实际提示推至数千个令牌，增加了推理成本和延迟。学习型压缩方法如LLMLingua（Jiang等人，2023）和Selective Context（Li等人，2023）实现了高压缩率，但需要辅助语言模型且具有非确定性。我们提出一个互补问题：基于经典词汇自然语言处理的无需训练、完全确定、仅CPU的管道，在输出质量显著下降之前能推进到何种程度？十一个可切换的词汇转换——停用词移除、填充短语删除、缩略语和缩写替换、基于词性的剪枝、词形还原、基于WordNet的同义词缩短以及命名实体保留——被组合成一个可配置的管道。在1,242个仅英语提示上评估了十五种配置，这些提示来自六个来源（Dolly-15k、LMSYS-Chat-1M、WildChat-1M、MMLU、GSM8K、HellaSwag），跨越十一个自动派生的任务类别，产生18,630对GPT-4o-mini完成结果。使用BLEU、ROUGE-1/2/L、BERTScore-F1和SentenceBERT余弦相似度来衡量输出保留度。最激进的配置实现了平均令牌减少40.3%（sigma = 9.2），BERTScore-F1为0.876，与原始提示输出相比；仅停用词配置实现了29.6%的减少，BERTScore-F1为0.913。压缩与保真度的帕累托前沿在每个任务类别中进行了表征，常识推理在激进压缩下是一个系统性的失败模式。所有代码、提示和每个单元格的结果均已发布以供重现。

# 面向大语言模型的词汇提示压缩：无需训练的确定性流程与十一类任务的实证帕累托分析
来源：https://arxiv.org/abs/2609.13154

文献工具

## 文献与引用工具

文献资源浏览器切换

代码、数据、媒体

## 与本文关联的代码、数据与媒体

演示项目

## 演示项目

相关论文

## 推荐器与搜索工具

关于arXivLabs

## arXivLabs：与社区协作者共同开展的实验性项目

arXivLabs是一个框架，允许协作者直接在我们的网站上开发和分享新的arXiv功能。

所有与arXivLabs合作的个人和组织均已认同并接受我们关于开放、社区、卓越与用户数据隐私的价值观。arXiv致力于这些价值观，并仅与遵守这些价值观的合作伙伴共事。

有一个能为arXiv社区增添价值的项目创意？**了解更多关于arXivLabs的信息**（https://info.arxiv.org/labs/index.html）。