异构语言模型间的双缓存潜空间通信

# 异构语言模型的双缓存隐空间通信

来源：https://arxiv.org/html/2608.20617
张启注：本文工作与作者在亚马逊的职位无关。贾耀一，阚子文，王松

###### 摘要

多智能体LLM系统将工作分配给多个模型，因此回答问题通常需要另一个智能体上下文中的知识：一个“共享者”编码了“接收者”完成任务所需的信息。此类智能体通常通过交换文本来通信，这使自回归解码成为关键路径，并将交换简化为未感知接收者状态的离散消息。最近的隐式协议改为将共享者的键值（KV）缓存转换为接收者的缓存：C2C支持异构模型，但要求两者读取相同的输入；而LCF-X通过位置无关的共享缓存池化消除了这种共享上下文的要求。但仍存在三个限制：LCF-X仅压缩共享者，为每个接收者位置提供相同的层局部摘要而没有可检索的联合跨层记忆，并假设匹配的层数和KV几何形状。我们引入了XKV，通过三个组件解决了所有这些问题：学习查询注意力池化了*两个*缓存；基于接收者对齐层令牌的自注意力，通过学习的层映射调和不同深度，将池化的摘要混合成紧凑的联合记忆；共享的位置解码器让每个原始接收者缓存位置在接收者原生KV几何形状中检索其自己的逐头门控残差。两个模型保持冻结且可能属于不同系列、深度、KV头数、头维度和分词器；仅训练翻译器。在45种数据集-模型对设置（六种异构和三种同模型有序配对，五种数据集）中，XKV获得了最高宏分数和三种协议中最佳的平均排名，在每个数据集上都优于LCF-X（在ROPES上精确匹配提高4.6点，F1提高4.2点），并在五个数据集中有四个超过文本通信，同时训练参数减少76%，翻译缓存对速度提高10.3倍（5.8毫秒对59.9毫秒）；端到端，XKV比LCF-X快26%，比文本通信快6.8倍。

## 引言

语言模型越来越多地作为更大系统的组件，用于检索证据、调用工具和相互验证（30 (https://arxiv.org/html/2608.20617#bib.bib1)；5 (https://arxiv.org/html/2608.20617#bib.bib2)；26 (https://arxiv.org/html/2608.20617#bib.bib3)；2 (https://arxiv.org/html/2608.20617#bib.bib4)）。在此类系统中，智能体经常观察到不同的事物：检索的文档在智能体之间分配，工具仅向其调用者返回结果，每次交互都会留下私有状态。每当一个智能体需要另一个智能体已编码的证据时，两者必须进行通信，而集体性能取决于该通道。我们研究其双模型核心，即*跨上下文*设置：一个“共享者”已编码了问题的部分证据，“接收者”已编码了剩余部分并必须生成答案；单独任一上下文都不足以回答，因此接收者必须将其缺乏的证据与其已持有的信息集成。部署的系统几乎完全通过交换自然语言来解决这个问题。文本具有可移植性和可解释性，但在神经模型之间是间接的：发送者在关键路径上将其连续状态自回归解码为令牌，而接收者必须对它们进行分词和重新编码。缓存到缓存（C2C）通过将一个模型的键值（KV）缓存转换为另一个模型的缓存来消除此解码-编码循环（7 (https://arxiv.org/html/2608.20617#bib.bib6)；4 (https://arxiv.org/html/2608.20617#bib.bib7)）。它支持异构系列和分词器，但对齐相同底层输入的两个分词并融合语义对应的位置，因此它仍然是一种共享上下文方法；重新对齐位置的缓存重用方法做出了相关的对应假设（31 (https://arxiv.org/html/2608.2017#bib.bib13)）。隐缓存流（Latent Cache Flow）的跨上下文扩展LCF-X通过一个池化的、位置无关的缓存摘要消除了这个预设（23 (https://arxiv.org/html/2608.20617#bib.bib8)），表明即使在上下文不共享令牌的情况下，证据也可以在缓存级别移动。

然而，位置无关传输保留了三个限制，如图1（https://arxiv.org/html/2608.20617#Sx1.F1）所示。首先，传递什么内容的决定未参考接收者：仅池化共享者缓存（LCF-X的投影器在摘要形成后才读取接收者缓存），因此一个向量必须携带接收者可能需要的所有事实，选择时无需参考其已编码的内容。其次，外部信号是层局部的、单一摘要瓶颈：接收者层的每个位置都获得相同的池化共享者摘要；投影器对局部缓存行的视图允许残差在位置间变化，但没有位置可以在多个共享者摘要中选择或从其他层检索信息。第三，灵活性受限：C2C接受异构模型但要求共享的、可令牌对齐的内容，而原始LCF-X接受不同内容但假设匹配的层数和KV头几何形状；一个实用的通道应接受在这些轴上存在差异的冻结模型对。所有这些都必须在效率约束下解决：一个感知接收者的通道如果恢复了引入隐式通信旨在消除的成本，则没有净收益。

图1：两个持有互补上下文模型的通信协议，标注了每个协议提出的挑战（×）或解决的挑战（✓）。T2T在访问不到接收者状态的关键路径上解码消息。LCF-X仅从共享者缓存池化摘要，并向每个位置提供相同的摘要，尽管其下游投影器也基于局部接收者缓存行进行条件化。XKV（我们提出）从两个缓存联合构建通信记忆，并且每个接收者位置检索其自己的接收者原生残差。图2：答案质量与通信成本的关系，汇总了所有45种数据集-模型对设置（详情见技术附录）；两个轴上的顺序是准确的，间距未按比例绘制。XKV主导了两种基线：它在每个数据集上都优于LCF-X，翻译器速度快10.3倍且可训练参数减少76%，并且端到端速度比T2T快6.8倍，后者仅在QASC上领先。C2C被省略：它需要令牌对齐的共享上下文。我们使用XKV解决了这些问题，这是一种双缓存翻译器，它将*传递什么*与*写入何处*分离。学习查询注意力将*两个*缓存池化为每个层和头的k个候选摘要。由于深度在架构之间没有可靠的语义对应（14 (https://arxiv.org/html/2608.20617#bib.bib16)；1 (https://arxiv.org/html/2608.20617#bib.bib32)），学习的层映射调和了两个深度轴，自注意力将摘要混合成一个紧凑的联合记忆，该记忆表示共享者的证据相对于接收者已编码的内容，而不是固定的发送者撰写的讯息。然后，每个原始接收者缓存位置通过共享解码器查询此记忆，零初始化的输出头在接收者的原生缓存几何形状中发出逐头门控残差，为每个位置提供不同的更新。效率源于相同的选择而非以它们为代价进行权衡：池化在一个向量化步骤中将N→k，而不是在可变长度跨度上进行两个难以批处理的阶段；记忆长度为L_R，无论提示长度如何；解码器、门控和输出头在接收者层之间共享。两个模型保持冻结且可能在深度、KV头数、头维度和分词器方面有所不同；仅训练翻译器。

我们在五个拆分证据推理任务（29 (https://arxiv.org/html/2608.20617#bib.bib17)；25 (https://arxiv.org/html/2608.20617#bib.bib18)；13 (https://arxiv.org/html/2608.20617#bib.bib19)；18 (https://arxiv.org/html/2608.20617#bib.bib20)；9 (https://arxiv.org/html/2608.20617#bib.bib21)）上评估XKV，覆盖完整的3×3网格的Qwen、Gemma和Llama共享者-接收者对（28 (https://arxiv.org/html/2608.20617#bib.bib22)；8 (https://arxiv.org/html/2608.20617#bib.bib23)；10 (https://arxiv.org/html/2608.20617#bib.bib24)），其六个非对角对共同涵盖了系列、深度、注意力几何形状和分词器差异；由于原始LCF-X不支持此类不匹配，我们将其扩展为一个更强的异构基线。在所有45种数据集-模型对设置中，XKV获得了最高的宏分数（52.4对LCF-X的49.8和T2T的48.9），在每个数据集上都优于LCF-X，同时其翻译器运行速度比LCF-X融合器快10.3倍，可训练参数减少76%；端到端速度比LCF-X快26%，比T2T快6.8倍（图2 (https://arxiv.org/html/2608.20617#Sx1.F2)）。因此，贡献是消除了一个权衡：通信是接收者感知的，并从联合跨层记忆中检索特定位置的更新，但严格来说比其替代的以发送者为中心的摘要更便宜。

我们做出三项贡献：

- • 我们将接收者无关的压缩、层局部单一摘要条件化和匹配几何假设识别为跨上下文缓存通信的瓶颈，并将该任务重新表述为两个模型状态的有效联合翻译。
- • 我们引入XKV，结合对称直接缓存池化、跨层翻译和接收者位置查询，构建接收者原生重建的联合记忆，两个冻结模型可以自由地在架构和分词器方面有所不同。
- • 我们将LCF-X扩展到不匹配的层数和KV维度，并据我们所知，进行了首次完整的跨系列、拆分证据评估（五项任务，九种有序对），其中XKV以极低的成本改进了增强的LCF-X基线和文本通信。

## 相关工作

#### 语言模型智能体间的通信。
部署的多智能体系统完全通过自然语言协调：智能体在辩论（5 (https://arxiv.org/html/2608.20617#bib.bib2)）中交换文本论据，在AutoGen（26 (https://arxiv.org/html/2608.20617#bib.bib3)）中对话，并在角色专门化的团队（2 (https://arxiv.org/html/2608.20617#bib.bib4)）中协作，在每次交接时都支付自回归生成和重新编码的代价；我们的T2T基线遵循此协议。第二条路线避免将中间计算转化为语言：Coconut将隐藏状态作为连续推理反馈（11 (https://arxiv.org/html/2608.20617#bib.bib9)），Interlat学习智能体之间的压缩隐藏状态通信（6 (https://arxiv.org/html/2608.20617#bib.bib10)），LatentMAS维护一个共享的隐式工作记忆（33 (https://arxiv.org/html/2608.20617#bib.bib11)）。这些方法在隐藏状态序列或共享隐式接口上操作；XKV则针对冻结的、独立分词的模型，并将信息写入接收者注意力已消耗的每层KV状态中。

#### KV缓存作为通信媒介。
KV缓存是解码过程中消耗的持久提示状态（22 (https://arxiv.org/html/2608.20617#bib.bib5)）。在一个模型内，驱逐策略（32 (https://arxiv.org/html/2608.20617#bib.bib27)；17 (https://arxiv.org/html/2608.20617#bib.bib28)；27 (https://arxiv.org/html/2608.20617#bib.bib29)）和隐式投影（3 (https://arxiv.org/html/2608.20617#bib.bib30)）表明状态高度冗余，这使得紧凑的跨模型通道成为可能。在模型之间，C2C学习适配器以支持异构模型，同时融合相同底层输入的对齐位置缓存（7 (https://arxiv.org/html/2608.20617#bib.bib6)；4 (https://arxiv.org/html/2608.20617#bib.bib7)），并且KV条目可以选择性地共享（24 (https://arxiv.org/html/2608.20617#bib.bib12)）或在智能体间位置重新对齐后重用（31 (https://arxiv.org/html/2608.20617#bib.bib13)）；所有这些都假设内容重叠，但我们的两个模型持有互补的证据。最接近的是，LCF-X将共享者缓存池化为位置无关的摘要，然后进行层局部残差融合（23 (https://arxiv.org/html/2608.20617#bib.bib8)）。XKV通过从两个缓存构建跨层记忆并让每个接收者位置通过共享参数检索不同的更新来推进这条路线。

#### 连接冻结的表示空间。
在冻结模型之间翻译假设其状态是可关联的：相似性分析发现了广泛可比较的特征，这些特征抵制简单的逐层识别（14 (https://arxiv.org/html/2608.20617#bib.bib16)），拼接表明轻量级学习映射通常足够（1 (https://arxiv.org/html/2608.20617#bib.bib32)），相对表示通过共享锚点进行零样本通信（20 (https://arxiv.org/html/2608.20617#bib.bib31)）；这些共同激励了我们学习的层映射和学习的翻译。前缀调优（16 (https://arxiv.org/html/2608.20617#bib.bib14)）和摘要令牌（21 (https://arxiv.org/html/2608.20617#bib.bib15)）同样向冻结模型注入连续向量，但作为静态前缀或单模型压缩，而不是两个模型状态的示例相关翻译。最后，使用学习查询的池化是一个标准原语（15 (https://arxiv.org/html/2608.20617#bib.bib25)；12 (https://arxiv.org/html/2608.20617#bib.bib26)）；XKV将其应用于每层和KV头，同时处理两个缓存，因此结果槽位保持缓存形状，并可以重组为接收者原生的键和值。

图3：XKV概述。两个冻结模型预填充其私有上下文。阶段1（*传递什么*）：学习查询注意力将每个缓存从N_a个位置池化为每层和头的k个槽位，学习的映射对齐共享者层轴，并且连接的摘要通过自注意力被瓶颈化和混合为每个接收者层的一个联合记忆令牌。阶段2（*写入何处*）：每个原始接收者缓存位置通过共享交叉注意力解码器查询记忆，并且共享的、零初始化的输出头在接收者的原生缓存几何形状中发出逐头门控的KV残差。仅训练XKV翻译器。

## 方法

XKV是两个冻结语言模型之间的轻量级翻译器，建立在一个单一原则上：*传递什么*应该由两个模型的编码状态共同决定，而*写入何处*应该由接收者自身的缓存几何形状决定。因此，XKV首先通过对称池化、层对齐和跨层混合，将两个KV缓存压缩成一个紧凑的联合层记忆，然后让每个原始接收者缓存位置从该记忆中检索其自己的更新，以接收者原生KV残差的形式写回（图3 (https://arxiv.org/html/2608.20617#Sx2.F3)）。

### 问题设置

令一个冻结的共享者模型S观察问题q和私有上下文c_S，一个冻结的接收者模型R观察问题q和互补的上下文c_R。接收者必须预测答案令牌y=(y_1,...,y_T)。预填充模型a∈{S,R}产生KV缓存

C_a={(K_a^ℓ, V_a^ℓ)}_{ℓ=1}^{L_a}, K_a^ℓ, V_a^ℓ ∈ ℝ^{B × H_a × N_a × D_a},  (1)

其中L_a、H_a、N_a和D_a分别表示层数、头数、序列长度和头维度。