将文本映射到多重图：基于莱维游走引导的图剪枝的提示压缩

# 提示压缩作为莱维游走引导的图剪枝  
来源：https://arxiv.org/html/2607.01241  

## 将文本映射到多重图：基于莱维游走引导图剪枝的提示压缩  

Yao Lu·Jinhong Deng·Jiaqi Nie·Zhe Tang·Jian Zhang·Zhaowei Zhu·Shanqing Yu·Qi Xuan·Joey Tianyi Zhou  

###### 摘要  

现有的提示压缩方法将文本视为平坦的标记序列，未能捕捉重要信息分布式的特性——重要信息往往散布在多个位置，并通过局部句法依赖和全局语义关系相互连接。这种关系结构天然可以用图来表示，其中标记或句子作为节点，它们之间的依赖关系作为边。为此，我们提出RAGP，将提示压缩形式化为在多重图上的**冗余感知图剪枝**问题，该多重图同时建模了细粒度的注意力依赖关系和粗粒度的语义关系。为了在这种异构结构（密集的局部子图与稀疏的全局连接）中高效识别非冗余节点，我们采用莱维游走，其重尾步长分布自然地平衡了局部利用与全局探索。在LongBench上的实验表明，RAGP在4×压缩比下平均得分为49.3，优于现有的基于LLM的压缩方法（如LongLLMLingua在3×压缩比下达到48.8）。此外，RAGP在多项任务上也超越了最先进的基于视觉的文本压缩范式。代码可在https://anonymous.4open.science/r/RAGP-B0CB获取。  

机器学习，ICML  

## 1 引言  

大型语言模型（LLM）在多种自然语言处理任务中取得了显著成功（Devlin et al., 2019；Izacard and Grave, 2020；Zhang et al., 2020；Feng et al., 2020；Li et al., 2022）。然而，它们对长而信息丰富的提示的依赖带来了若干实际限制，包括高推理成本、增大的延迟、过多的内存消耗，以及因长上下文注意力稀释而可能导致的性能下降（Jiang et al., 2023a；Pan et al., 2024；Jiang et al., 2023b；Liu et al., 2023）。这些挑战共同凸显了提示压缩对于实现高效、准确且可扩展的LLM推理的重要性。  

大多数现有的提示压缩方法在标记级别工作（Chen et al., 2025b；Jiang et al., 2023b；Pan et al., 2024；Tang et al., 2025），旨在通过基于注意力分数（Fang et al., 2025；Honig et al., 2025）或启发式重要性度量（Wang et al., 2025；Fu et al., 2025）来剪枝或重新加权标记，从而减少输入长度。虽然这些方法在降低计算开销方面有效，但它们通常将文本视为平坦序列，忽略了长文档中重要信息是**分布式的**而非孤立的关键洞见。这类信息通过局部句法依赖（句子内）和全局语义关系（句子间）错综复杂地连接。忽略这种结构化组织，现有的标记级方法（Jiang et al., 2023b；Pan et al., 2024）常常做出次优决策：它们可能保留局部显著但全局冗余的标记，或者丢弃那些单独看来不突出但共同不可或缺的标记。这一局限性促使我们采用基于图的公式化方法，将标记或句子建模为节点，其依赖关系作为边，从而自然地支持结构感知的冗余剪枝。  

为了实现这种结构感知，我们构建了一个多重图（Melton and Krishnan, 2023；Shen et al., 2024），天然捕获了文档结构的双重特性：一个细粒度层通过注意力建模密集的局部依赖，而一个粗粒度层则建模稀疏的长程语义连接。这种公式化将提示压缩转化为一个图论问题：识别并剪枝冗余节点，同时保留结构重要的节点。然而，由此产生的图具有异构的连接模式（即密集的局部子图和稀疏的全局链接），这对于倾向于被困在局部邻域中的标准图遍历方法（Page et al., 1999；Xing and Ghorbani, 2004）构成了重大挑战。  

为了解决这个问题，我们提出了RAGP，一个新颖的框架，采用随机莱维游走进行冗余感知的多重图剪枝。莱维游走以重尾步长为特征，自然地交替进行局部利用和偶尔的长程跳跃，有效地导航这种异构图结构。通过选择在此过程中频繁访问的节点，RAGP有效过滤掉冗余，同时保留分布式的语义结构，从而产生高质量的压缩提示。  

总之，我们的贡献可概括如下：  

- • 我们构建了一个多重图，将文本中的细粒度局部依赖与粗粒度全局语义关系整合在一起，有效将提示转化为在该异构结构上的**冗余感知图剪枝**问题。  
- • 我们引入了基于莱维游走的重要性估计，其重尾步长分布自然平衡了密集子图内的局部利用与稀疏链接间的全局探索，有效导航了异构的多重结构。  
- • 大量实验表明，RAGP在LongBench上取得了最先进的性能，在4×压缩比下平均得分为49.3，超越了具有竞争力的基于LLM的基线和基于视觉的文本压缩方法。  

## 2 相关工作  

### 2.1 提示压缩  

提示压缩方法旨在减少输入长度，同时保留与任务相关的信息。早期方法使用简单标准（如统计相关性分数（Li, 2023；Lin et al.；Tang et al., 2025））估计标记或句子的重要性，以任务无关的方式剪枝信息较少的内容。后来的方法利用神经语言模型的内部信号来指导压缩决策，利用模型内部线索，包括注意力分布（Zhao et al., 2025b；Chen et al., 2025a；Honig et al., 2025）或损失敏感性（Quancai et al., 2025），要么直接用于推理时剪枝（Ma et al., 2025；Kang et al., 2025；Zhao et al., 2025a），要么作为轻量级压缩器的监督信号。更近期的框架在多阶段流程中整合了多种信号（Jiang et al., 2023a；Pan et al., 2024；Jiang et al., 2023b），将粗粒度过滤与细粒度精炼结合。虽然这些方法改进了压缩，但大多数将输入视为平坦序列，没有利用长文档的结构化组织。  

### 2.2 层次化文本建模  

层次化建模捕捉长文档中的多层语义组织。先前的工作（Ruan et al., 2022；Zangari et al., 2024；Ahmad et al., 2025；Zhao et al., 2025a）以多种粒度（标记、句子、段落）建模文本，以捕获局部语义组织和文档级依赖。最近的方法进一步通过多重或多关系结构组织这些单元（Sha et al., 2024；Yu et al., 2022；Behrouz and Hashemi, 2022；Shen et al., 2024），将不同类型的关系共同嵌入为相互依赖的层。然而，这些方法主要关注提高下游任务的表示质量，而不是在严格长度约束下实现高效压缩。  

### 2.3 基于图的方法与遍历策略  

基于图的表示为文本提供了明确的结构抽象（Ruan et al., 2022；Zhao et al., 2025b），将词或句子建模为节点，通过句法、语义或基于相似性的边连接。这种公式支持多层次交互和长程依赖（Yu et al., 2022），并已应用于文本分类（Onan, 2023）、摘要生成（Ruan et al., 2022）和问答（Sui et al., 2025；Xu et al., 2025）。对于提示压缩，Prompt-SAW（Ali et al., 2024）从实体-关系三元组构建关系感知图，并通过基于相似性的评分选择子图。然而，它依赖于单层图和确定性选择，限制了其建模层次结构以及平衡局部相关性与全局覆盖的能力。  

在基于图的重要性估计中，一个关键挑战是如何有效地遍历图。标准随机游走倾向于被困在密集连接的局部邻域中，导致混合缓慢和重要性分数偏差。PageRank及其变体假设图结构同质，可能不适合具有异构连接模式的多重图。莱维游走最初在动物觅食和网络分析中研究，其特征是重尾步长分布，在局部探索和偶尔的长程跳跃之间交替。这一特性使其特别适合处理密集局部簇通过稀疏全局链接连接起来的图，正如我们多重文本图公式化中的情况。  

请参阅图注  
图1：所提出方法的框架。文本冗余被转化为多重图上的图冗余剪枝，其中多轮莱维游走估计节点重要性用于文本压缩。  

## 3 多重图构建  

我们提出了RAGP，一种基于图的提示压缩方法，将长提示建模为多重图，并通过随机莱维游走估计细粒度重要性，如图1所示。我们首先描述多重图的构建，这是后续重要性估计和压缩的基础。  

**符号说明。** 设输入提示是一个由K个句子组成的序列D = {s₁, s₂, …, s_K}，其中每个句子s_k由语义单元（例如，词或子词）组成，记为V_{s_k}^(0) = {v_{k,1}, …, v_{k,n_k}}。提示压缩旨在在给定预算下选择一个语义单元的子集，同时保留与任务相关的信息。为了以多种粒度建模依赖关系，我们将提示表示为一个多重图G = {G^(0), G^(1)}，其中细粒度层G^(0)包含语义单元节点，粗粒度层G^(1)包含句子节点。论文中使用的所有符号总结在附录A中。  

我们在输入提示上构建多重图，以捕获多个粒度下的语义依赖。为了确保在长上下文上的可扩展性，我们应用了一个轻量级的预过滤步骤，去除与查询相关性低的句子，从而在分析前限制图的大小。这为细粒度重要性估计保留了内容。基于保留的内容，我们在词级别（每个词可能由多个子词标记组成）实例化语义单元，并在句子级别实例化粗粒度节点。得到的多重图记为G = {G^(0), G^(1)}，其中细粒度层G^(0) = (V^(0), E^(0))编码语义单元之间的局部依赖，粗粒度层G^(1) = (V^(1), E^(1))捕获跨句子的全局语义关系。  

#### 层内关系（局部结构）。细粒度层编码词之间的局部语义依赖。每个节点代表一个在词级别实例化的语义单元，可能由一个或多个子词标记组成。细粒度层中的边基于预训练语言模型产生的注意力模式进行实例化。这些边权重表示语义单元（词/子词）之间的上下文依赖。对于属于同一个句子s的两个词v_i和v_j，我们引入一条边(v_i, v_j) ∈ E_s^(0)。相应的边权重通过对v_i和v_j的所有子词标记之间的标记级注意力分数进行聚合来定义：  

w^(0)(v_i, v_j) = (1 / (|Tok(v_i)| |Tok(v_j)|)) × Σ_{t∈Tok(v_i)} Σ_{t'∈Tok(v_j)} Attn(t, t')  

其中Tok(v)表示组成语义单元v的子词标记集合，Attn(t, t')表示从标记t到t'的注意力权重，跨预训练语言模型的所有注意力头取平均。基于这种聚合，为了减轻由弱或虚假注意力链接引起的噪声，我们应用一个稀疏化步骤，仅保留按权重排序的前δ%的边，即如果w^(0)(v_i, v_j)属于前δ%，则(v_i, v_j) ∈ E^(0)。这种聚合在每个局部上下文中产生了一个密集的词级图，其中注意力诱导的邻域重叠导致了大量冗余。