@thesupermannx: LLMs 现在可以无需言语相互通信。中国研究人员开源了一个新范式，让 LLMs 通信……

X AI KOLs Timeline 论文
llm-communication cache-to-cache open-source ai-agents latency-reduction semantic-transfer

摘要

中国研究人员开源了 Cache-to-Cache (C2C)，一种新范式，使 LLMs 能够通过 KV-cache 融合直接通信，绕过文本生成以减少延迟并提高准确率最高达 14.2%。

LLMs 现在可以无需言语相互通信。 中国研究人员开源了一个新范式，让 LLMs 无需生成一个单词即可通信。 它被称为 Cache-to-Cache (C2C) 通信。 目前，当多个 AI 代理协同工作时，它们被迫将内部“想法”翻译成人类文本令牌以传递信息。这丢失了丰富的语义含义并导致巨大的逐令牌延迟。 因此，C2C 不是输出单词，而是使用神经网络直接将源模型的“kv-cache”投影并融合到目标模型中。这是纯粹的直接语义通信……他们甚至添加了一个可学习的门控机制，以选择哪些层最能从缓存传输中受益。 基准测试结果实际上非常惊人： - 避免所有中间文本生成延迟 - 与单个模型相比，准确率最高提升 14.2% - 比传统基于文本的代理通信快 5% 以上 - 整体速度大幅提升 2.5 倍 我们正在见证 LLMs 绕过人类语言，构建它们自己静默、高速的神经网络……
查看原文
查看缓存全文

缓存时间: 2026/09/18 20:47

LLM现已实现无需言语的对话。

中国研究人员开源了一种新范式，使LLM无需生成任何文本即可完成通信。

该技术被称为“缓存到缓存“（Cache-to-Cache，C2C）通信协议。

当前多个AI智能体协同时，它们必须将内部“思考过程“转换为人类文本词元才能传递信息。这种转换不仅会丢失丰富的语义信息，还会产生巨大的逐词元传输延迟。

C2C技术通过神经网络直接将源模型的“键值缓存“投射并融合到目标模型中，实现了纯粹直接的语义通信。研究团队还加入了可学习的门控机制，精准选择最适合进行缓存传输的模型层级。

基准测试结果令人惊叹：

  • 完全避免了中间文本生成带来的延迟
  • 相较于独立模型，准确率最高提升14.2%
  • 相比传统基于文本的智能体通信方式，性能优势超过5%
  • 整体处理速度实现2.5倍的大幅跃升

我们正在见证LLM突破人类语言的桎梏，构建专属的静默高速神经网络。

相似文章

异构语言模型间的双缓存潜空间通信

arXiv cs.AI

本文介绍了XKV，一种用于多智能体系统中异构语言模型间高效潜空间通信的方法，在准确性和速度上优于现有的基于文本和缓存的协议。

LMCache/LMCache

GitHub Trending (daily)

LMCache 是一个开源的KV缓存管理层，用于LLM推理，通过支持跨推理引擎持久化存储和复用KV缓存，减少首Token延迟并提升吞吐量。

Latent Cache Flow：无需文本的模型间通信

arXiv cs.LG

本文介绍了 Latent Cache Flow（LCF），一种通过交换压缩后的KV缓存而非文本来实现高效模型间通信的方法，从而减少了适配器大小并实现了跨上下文通信。