标签
清华大学和无问芯穹团队开源了一篇论文,介绍了C2C,一种通过缓存融合实现大型语言模型直接通信的方法,消除了文本中介,显著提升了推理速度和准确性。
中国研究人员开源了 Cache-to-Cache (C2C),一种新范式,使 LLMs 能够通过 KV-cache 融合直接通信,绕过文本生成以减少延迟并提高准确率最高达 14.2%。