Receiver-Conditioned Latent Communication 实现 94% CacheBack

Hugging Face Daily Papers 论文

摘要

论文提出了 CacheBack,一种免训练的接收方条件化隐空间通信方法:根据接收代理的信息需求,对发送方代理的 KV 缓存进行过滤和压缩,将传输的状态减少 75%,在 FanOutQA 上使用 Qwen3 时,相比文本通信将准确率提升 14.7 个百分点,并将延迟降低 3.2 倍。

多智能体系统将大规模上下文分布到多个代理中,通过相互通信协同完成任务。文本消息虽然简洁紧凑,但需要解码,且可能遗漏接收方代理所需的证据。近年来的隐空间通信改为传输 KV 缓存,避免了文本生成,能够同时提升准确率并降低延迟。然而,完整的 KV 缓存会随单个代理处理的上下文长度以及协同代理的数量线性增长,这会带来巨大的内存和上下文开销,往往远超可用的 GPU 资源和上下文窗口容量。我们的核心观察是:代理只需发送接收方代理在本地任务中真正需要的内容——我们称之为接收方条件化通信(receiver-conditioned communication)。接收方代理向发送方传递一份关于自身信息需求的简要描述,以此作为依据来过滤和压缩发送方代理的 KV 缓存。CacheBack 是一个基于发送方注意力权重的简单、鲁棒、免训练的接收方条件化实现。在 FanOutQA 上,CacheBack 配合 Qwen 3 去除了代理原本会接收到的 75% 状态数据,相比文本通信将准确率提升了 14.7 个百分点,并将任务完成延迟的中位数降低了 3.2 倍。我们在涵盖稠密 Transformer、Mamba-注意力混合架构以及滑动窗口注意力等多个模型系列上展示了可比的改进效果。
查看原文
查看缓存全文

缓存时间: 2026/10/05 16:49

论文页面 - 接收者条件化潜在通信实现 94% CacheBack

来源:https://huggingface.co/papers/2609.32046

摘要

多智能体系统将大型上下文分布在多个智能体之间,通过通信协作完成任务。文本消息虽然紧凑,但需要解码,且可能遗漏接收智能体所需的证据。近期的潜在通信方法转而传输 KV 缓存,这避免了文本生成,能够提升准确率并降低延迟。然而,完整的 KV 缓存会随着单个智能体处理的上下文长度以及协同工作的智能体数量线性增长,这带来了内存和上下文开销,往往远超可用的 GPU 资源和上下文窗口大小。我们的关键观察是:智能体只需发送接收智能体完成其本地任务所需的内容——我们将此称为“接收者条件化通信“。接收智能体会向发送者传递一份其信息需求的简要描述,用以过滤和压缩发送智能体的 KV 缓存。CacheBack 是一种简单、稳健、免训练的接收者条件化实现,基于发送者的注意力权重进行过滤。在 FanOutQA 上,使用 Qwen3 的 CacheBack 移除了智能体原本需要接收的 75% 状态,使准确率提升 14.7 个百分点,相对文本通信将任务完成的中位延迟降低 3.2 倍。我们在涵盖稠密 Transformer、Mamba-注意力混合架构以及滑动窗口注意力等多个模型家族上展示了可比的改进效果。

查看 arXiv 页面 查看 PDF 项目页面 GitHub 加入收藏

在你的智能体中获取这篇论文:

hf papers read 2609.32046

还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型:0

没有模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2609.32046 即可从此页面关联。

引用本文的数据集:0

没有数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.32046 即可从此页面关联。

引用本文的 Spaces:1

包含本文的合集:1

相似文章

Latent Cache Flow:无需文本的模型间通信

arXiv cs.LG

本文介绍了 Latent Cache Flow(LCF),一种通过交换压缩后的KV缓存而非文本来实现高效模型间通信的方法,从而减少了适配器大小并实现了跨上下文通信。

异构语言模型间的双缓存潜空间通信

arXiv cs.AI

本文介绍了XKV,一种用于多智能体系统中异构语言模型间高效潜空间通信的方法,在准确性和速度上优于现有的基于文本和缓存的协议。

PorTAL(1分钟阅读)

TLDR AI

介绍Latent Briefing,一种通过KV缓存压缩实现多智能体系统通信的方法,在保持相同准确率的情况下减少31%的令牌使用,并实现高达20倍的加速。