Cache-to-Cache：大型语言模型之间的直接语义通信 (2025)

# 缓存到缓存：大型语言模型间的直接语义通信
来源：https://arxiv.org/html/2510.03215
田宇††贡献等同。闵子涵、张翰林、闫继朝
单位：清华大学
戴国浩
单位：Infinigence AI
单位：上海交通大学
欧阳万隆
单位：香港中文大学
单位：SLAI
单位：上海人工智能实验室
王宇††通讯作者：王宇 \([email protected]\)。
单位：清华大学

###### 摘要
多LLM系统利用多样化大型语言模型的互补优势，实现了单一模型无法达到的性能与效率提升。现有设计中，LLM通过文本进行通信，迫使其内部表示转换为输出令牌序列。此过程不仅丢失丰富的语义信息，还引入了逐令牌生成延迟。基于这些局限，我们提出疑问：*LLM能否超越文本进行通信？*
神谕实验表明，在不增加缓存大小的情况下，丰富KV缓存的语义可以提高响应质量，支持KV缓存作为有效的模型间通信媒介。因此，我们提出了Cache-to-Cache（C2C），一种用于LLM间直接语义通信的新范式。C2C使用神经网络将源模型的KV缓存投影并融合到目标模型的KV缓存中，以实现直接的语义传递。可学习的门控机制选择受益于缓存通信的目标层。与文本通信相比，C2C利用了双方模型深层的、专业化的语义，同时避免了显式的中间文本生成。实验显示，C2C相比独立模型实现了6.4%-14.2%的平均准确率提升。它进一步超越文本通信范式约3.1%-5.4%，同时平均延迟加速达2.5倍。我们的代码在https://github.com/thu-nics/C2C开源。

## 1 引言
参见插图
图 1：
(a) 先前的文本到文本通信通过显式文本生成传递信息。(b) 我们的缓存到缓存通信直接投影并合并来自不同LLM的具有丰富语义的KV缓存。

随着大型语言模型的快速发展（Guo et al., 2025；Yang et al., 2025a；OpenAI, 2025），其应用领域正变得日益广泛和多样化。为满足多样化需求，LLM的训练具有不同的侧重点，例如编码（Hui et al., 2024）、数学（Yang et al., 2024a）、视觉理解（Bai et al., 2025）、边缘计算（Zhang et al., 2024b）等。同时，通用型LLM也可以通过提示工程模拟专业能力，从而在下游应用中灵活地适应角色。利用LLM的多样性，许多多LLM系统被提出以进一步提升整体性能和效率（Guo et al., 2024；Tran et al., 2025）。
在协作式多LLM系统（Li et al., 2023；Wu et al., 2023）中，LLM被分配不同的角色，并主动交换文本消息。如同人类协作，这些系统通过语言通信积累来自不同智能体的部分理解或子解决方案。它们利用多个LLM的集体能力来解决单一模型无法处理的复杂问题。
相比之下，基于路由的多LLM推理系统依赖于被动的上下文继承，而非主动的消息交换。这些系统协调不同参数规模或推理深度的模型，以实现更动态、高效的响应（Li et al., 2024；Fu et al., 2025a；Ong et al., 2024；OpenAI, 2025）。下游模型在多轮对话中继承前置模型的上下文，然后根据自身对对话历史的理解生成针对新问题的后续响应。
然而，当前的文本到文本接口限制了LLM之间的信息交换，尤其是在传递对共享上下文丰富或多样的语义解释时。如图2所示，这些限制源于T2T通信的几个固有约束。
首先，作为一种低带宽媒介，文本引入了信息瓶颈。高维的内部表示必须被反复压缩成线性字符串，然后由接收端LLM解压。当模型在知识或分配角色上存在差异时，某些信号可能无法恢复（例如，将换行符`---`解释为章节标记）。
其次，自然语言固有地存在歧义，包含习语、指代不明确和模糊表达。尽管最近的智能体协议旨在标准化文本消息（Anthropic, 2024；Surapaneni et al., 2025），但僵化的模板对于灵活、开放领域的协作仍然不足。
第三，T2T通信带来明显的延迟。每次交换都需要按顺序进行穷尽的、逐令牌的上下文解释解码。
这些局限性引发了一个关键问题：*LLM能否超越文本进行通信？*
在本工作中，我们探索使用KV缓存作为LLM通信的媒介。KV缓存是一种比文本更丰富的天然表示。它还通过直接投影实现完全并行的通信，避免了文本交换中缓慢的顺序解码。我们的神谕实验表明：（1）在相同上下文长度下丰富KV缓存可提高准确率；（2）KV缓存可在LLM之间转换；（3）不同的LLM对相同输入编码了不同的语义理解和上下文知识，反映了它们的互补优势。
受这些发现的鼓舞，我们提出了Cache-to-Cache（C2C），一种更丰富、更快速的多LLM通信新范式。如图1(b)所示，C2C将源模型的KV缓存投影到目标模型的空间中，并通过一个神经缓存融合器将它们合并。实验显示，C2C相比独立模型实现了6.4%-14.2%的平均准确率提升。它进一步超越T2T范式约3.1%-5.4%，同时平均延迟加速达2.5倍。

参见插图
图 2：
在程序员-写作者协作示例中，T2T与C2C通信的概念比较。在T2T中，程序员的模糊文本指令未能传达换行符`---`作为段落分隔符的结构语义，导致写作者放置内容错误。C2C直接将程序员的KV缓存投影到写作者中，传递了语义理解和精确的插入位置，而无需中间文本生成。

## 2 相关工作
### 2.1 KV缓存共享与复用
基于层间KV缓存的相似性，模型内缓存共享方法（Yang et al., 2024b；Wu and Tu, 2024；Sun et al., 2024；Brandon et al., 2024；Wu et al., 2025）被提出，用于复用浅层KV缓存以加速更深层的单LLM推理。另一个研究焦点是在同一模型的多用户查询中复用部分KV缓存（例如，公共前缀、参考文档）（Bang, 2023；Ye et al., 2024；Yao et al., 2024；Qin et al., 2024；Yang et al., 2025b；Ye et al., 2025；Eyuboglu et al., 2025）。DroidSpeak（Liu et al., 2024a）将缓存复用扩展到从同一基础模型微调的模型。
与现有专注于通过缓存复用提升计算效率的工作不同，我们的方法利用KV缓存作为LLM间语义传递的媒介。此外，与现有仅限于单一模型或结构和大小相同的模型的缓存共享方法不同，我们的方法支持跨不同模型族和不同模型大小的共享。

### 2.2 多LLM系统
协作式多LLM系统。协作系统将多个LLM视为对等体，通过信息交换来提升集体性能。Chain-of-Agents（Zhang et al., 2024c）和MetaGPT（Hong et al., 2023）创建顺序消息流，智能体通过自然语言接口直接通信。Mixture-of-Agents（Wang et al., 2024）、DyLAN（Liu et al., 2024b）和Owl（Hu et al., 2025）引入了分层通信架构。目标LLM使用投票或摘要机制聚合来自多个模型的消息。多智能体辩论方法（Estornell and Liu, 2024；Liang et al., 2024；Du et al., 2023）涉及迭代通信轮次，让LLM智能体讨论并优化响应。近期工作如MCP（Anthropic, 2024）和A2A（Surapaneni et al., 2025）建立了超越自然语言的正式文本协议，标准化了协作多LLM系统中的智能体交互和工具使用。
这些方法依赖于文本级接口，通信需要一个模型逐令牌生成文本，另一个模型将其作为输入接收。我们的工作通过直接共享内部KV缓存表示来探索更深入、更高效的协作（Pidkuiko and Starkov, 2025；Zheng et al., 2025b）。

基于路由的多LLM推理系统。为加速LLM推理，一些系统利用具有不同能力和成本的多个模型。动态模型选择方法（OpenAI, 2025；Ong et al., 2024；Feng et al., 2024；Ning et al., 2024）将查询路由到不同大小和配置的模型，以平衡效率和性能。令牌级路由方法（Zhang et al., 2024a；Shen et al., 2024；Zheng et al., 2025a；Fu et al., 2025a）实现更细粒度的选择，在复杂任务的推理过程中利用较小模型生成简单令牌。
虽然这些系统通过策略性模型切换实现效率提升，但它们要么完全丢弃其他模型的上下文，要么仅依赖自身对上下文的理解。没有理解共享，较小模型无法受益于大模型已计算出的更丰富的表示。

## 3 方法
### 3.1 预备知识
LLM推理。自回归LLM推理包括两个阶段：*预填充*和*解码*。预填充将整个输入编码以生成第一个输出令牌；解码则使用最后一个令牌和缓存的键值状态迭代生成后续令牌。
形式化地，令$X_{[0:n]} = [x_0, \dots, x_{n-1}]$为输入令牌序列。经过预填充后，LLM产生逐令牌的KV缓存$\mathcal{C}(X_{[0:n]}) = [c_0, \dots, c_{n-1}] \in \mathbb{R}^{n \times d}$。为简洁起见，$d$表示从所有层展平到每个令牌单个向量中的KV维度。当上下文清楚时，省略范围下标。
解码时，给定当前令牌$y_i$以及来自输入和已生成前缀的缓存，下一个令牌预测为：
$y_{i+1} = \mathcal{P}\!\left(y_i \mid \mathcal{C}(X) \oplus \mathcal{C}(Y_{[0:i]})\right)$, (1)
其中$\oplus$表示序列级连接。缓存更新为$\mathcal{C}(Y_{[0:i+1]}) = \mathcal{C}(Y_{[0:i]}) \oplus \mathcal{C}(y_i)$。

LLM通信。在LLM通信场景中，我们将提供上下文理解或知识的LLM定义为*共享者*，将其利用的LLM定义为*接收者*。

### 3.2 缓存到缓存通信的神谕
我们旨在探索LLM是否可以通过KV缓存进行直接语义通信。具体来说，我们设计了两个神谕实验来回答以下问题：
(1) *益处*：在不扩展序列长度的情况下，模型的能力能否通过KV缓存语义丰富而得到提升？
(2) *可转换性*：一个模型的KV缓存能否被另一个模型有效利用？

#### 3.2.1 缓存丰富神谕
为验证缓存丰富的益处，我们首先探索在不增加KV缓存大小的情况下，其语义质量是否能得到提升。少样本提示表明这可能有效：在*问题*X之前提供*示例*E通常能提高准确率。但这究竟是因为注意到了更多上下文令牌，还是因为E丰富了X在KV缓存中的嵌入方式？
我们通过三种设置来评估这一点：
(1) *直接*：仅对X预填充，使用$\mathcal{C}(X)$解码；
(2) *少样本*：对$E \oplus X$预填充，使用$\mathcal{C}(E \oplus X)$解码（缓存更长）；
(3) *神谕*：对$E \oplus X$预填充，但*丢弃*示例段，仅保留与问题对齐的切片$\mathcal{C}^*(X) = \mathcal{C}_{[\,|E|:\,|E|+\,|X|\,]}(E \oplus X)$，(2)
使得解码使用问题长度的缓存而无额外令牌。这里，$|\cdot|$表示序列长度。在公式(1)中，这对应于在解码前用$\mathcal{C}^*(X)$替代$\mathcal{C}(X)$。
比较*直接*和*神谕*隔离了缓存丰富的效果：任何增益都来源于由E引起的更丰富的问题嵌入，而非像*少样本*那样注意到了额外的令牌缓存。

如表1所示，*神谕*设置在相同缓存长度下提高了响应质量。此外，我们分析了缓存丰富如何影响不同的Transformer层。我们的发现显示层间存在显著差异：虽然某些层受益于缓存丰富，但其他层可能并非如此。这表明并非所有层都需要或受益于外部语义信息，支持我们的方法采用可学习的门控机制来选择性地应用缓存通信。