每次我聘请一位语言学家，推理成本就会降低：论语言规则作为有效的提示压缩器

arXiv cs.CL 论文
prompt-compression linguistic-rules inference-cost evolutionary-search large-language-models

摘要

本文提出仅使用语言规则作为提示压缩器，无需LM前向传递，在轻度到中度压缩下达到与先进策略相似的性能。

arXiv:2607.25335v1 公告类型：新 摘要：提示压缩通过缩短大语言模型输入来降低推理成本，但现有方法通过LM前向传递来评分token重要性。这种细致且昂贵的token选择是否必要仍存疑问。压缩需要识别信息丰富的内容，而语言学研究长期以来通过可操作化为确定性规则的线索来处理这一问题。因此，我们提出疑问：能否\textbf{仅使用语言规则}作为有效的提示压缩器，而无需在压缩时进行基于LM的评分？ 为了解决这个问题，我们进行离线进化搜索，基于词汇、句法、语义和语篇种子寻找有竞争力的规则组合。由此产生的语言压缩器在部署时无需LM前向传递，仅使用CPU端处理进行压缩。我们采用双路径协议来平衡压缩质量和重建保真度进行评估。 在短段落、多文档推理和对话记忆问答数据集上，进化压缩器的性能与近期先进的提示压缩策略相当。在轻度到中度压缩下性能最强，随着压缩变得更加激进而下降，而直接路径和重建路径表现出不同的模式。进化分析表明，有效压缩融合了跨语言层次的信号，并且随着压缩比增加，规则从token剪枝转变为句子提取。
查看原文
查看缓存全文

缓存时间: 2026/07/29 09:55 

# 每次雇佣语言学家，推理成本就下降：论语言规则作为有效的提示压缩器
来源：https://arxiv.org/abs/2607.25335
查看 PDF (https://arxiv.org/pdf/2607.25335)

> 摘要：提示压缩通过缩短大语言模型的输入来降低推理成本，但现有方法需要通过语言模型前向传播来评估 token 的重要性。这种细微且昂贵的 token 选择是否必要，仍然值得探讨。压缩需要识别信息含量高的内容，而语言学研究早已通过可操作化为确定性规则的线索来应对这一问题。因此我们提问：**仅凭语言规则**（不依赖基于语言模型的压缩时评分）能否成为有效的提示压缩器？为此，我们通过离线进化搜索，对词汇、句法、语义和语篇层面的种子进行探索，以找到有竞争力的规则组合。最终得到的语言压缩器在部署时无需语言模型前向传播，仅使用 CPU 端处理即可完成压缩。我们采用双路径实验协议来平衡压缩质量与重建保真度。在短文本、多文档推理和对话记忆问答数据集上，进化得到的压缩器达到了与近期先进提示压缩策略相当的性能。在轻到中度的压缩下表现最强，随着压缩率增大性能下降，同时直接路径和重建路径表现出不同的模式。进化分析表明，有效的压缩融合了多个语言层面的信号，并且随着压缩比增加，规则从 token 剪枝转向句子提取。

## 提交历史

来自：赵心峰 [查看邮箱 (https://arxiv.org/show-email/7be03a68/2607.25335)]  
**[v1]** 2026年7月28日星期二 06:33:27 UTC (735 KB)

相似文章