prompt-compression

本文识别了硬提示压缩中的一种结构性失败，称为“指称悬空”，即独立评分会拆散相互依赖的证据对，移除了解释保留答案所需的上下文。实验表明，这种现象影响多种压缩器和数据集，而自动恢复缺失的指称可提高问答准确率。

本文介绍了 SkillSV，一个结构感知的 Shapley 风格框架，用于对智能体技能的内部单元进行估值，并考虑依赖关系和层次结构。它在智能体基准上展示了更好的忠实度、可操作性和解释质量。

本文提出仅使用语言规则作为提示压缩器，无需LM前向传递，在轻度到中度压缩下达到与先进策略相似的性能。

提出了一种缓存感知的提示压缩（CAPC）方法，该方法将查询无关的压缩与缓存相结合，以降低大语言模型API的成本，在Anthropic的Sonnet API和生产工作负载上展现出显著优于现有方法的节省效果。

本文在率失真框架下统一了大语言模型和智能体中的内存压缩技术，提出了一个用于评估不同层压缩的分类法和基准。

本文提出通过中间层激活的学习加权和将指令提示压缩为单个激活向量，准确率下降低于2%，并揭示了对LLM激活空间结构的洞察。

本文提出RAGP，一种提示压缩方法，将文本建模为多重图，并利用莱维游走进行冗余感知的图剪枝，在LongBench上取得了优于现有基于LLM的压缩方法的性能。

本文系统性地探究了在LLM解码过程中，何时以及提示KV缓存的哪些部分变得可舍弃，表明冗余主要涉及聊天模板脚手架而非任务内容，并且用中性填充内容进行替换可保持准确性。

AGORA 引入了一种用于LLM代理的无推理步骤级提示压缩器，避免了令牌级压缩器的'动作语法破坏'失效模式。它通过结构解析器、始终保留底限以及学习的相关性评分器，在9个环境中的8个（跨骨干网络）保留了≥75%的未压缩性能。

本文介绍了 MedTPE，一种针对大语言模型电子健康记录的高效无损提示压缩方法，可显著降低临床预测任务中的词元长度和推理延迟。