@JunchenJiang: 我很高兴最近做了三场主题演讲，一场在ISCA'26第三届HotInfra研讨会（由Jian Huang教授主办）……

X AI KOLs Timeline 新闻
kv-cache llm-inference machine-learning-systems keynote infrastructure

摘要

Junchen Jiang发表了三次主旨演讲，认为KV缓存是LLM推理中被低估的资产，能够节省成本、降低延迟并提升质量，应被视为未来推理基础设施中的核心数据层。

我很高兴最近做了三场主题演讲，一场在ISCA'26第三届HotInfra研讨会（由Jian Huang教授主办），一场在UIUC系统小组聚会（由@tianyin_xu主持），还有一场是CMU客座讲座（由Lei Li教授主持）。 信息很简单：KV缓存不仅仅是可缓存的中介状态。 它是让推理系统变得智能的关键。 - 若被缓存，可节省成本并降低延迟。 - 若被分析，可揭示模型如何关注和理解上下文。 - 若被优化，不仅能提升性能，还能改善输出质量。 它不是负担，而是资产——（几乎）总是越多越好。 这正是行业内大多数人仍然低估的地方，尽管这些技术已经存在：KV缓存压缩、混合、语义重用、跨模型共享、注意力引导、基于KV缓存的检索等等。 差距不在于想象，而在于产品化。 KV缓存将成为未来推理基础设施中核心的AI原生数据层——不仅是存储的东西，更是我们管理、分析和优化的对象。 #KVCache, #LMCache, #LLMInference, #Tensormesh, #vLLM, #SGLang, #MLSys, #HotInfra
查看原文
查看缓存全文

缓存时间: 2026/06/30 23:48

最近我有幸做了三场主旨报告：一场是在ISCA’26第三届HotInfra研讨会（由黄建教授主持），一场是在UIUC系统组静修会（由@tianyin_xu主持），还有一场是CMU客座讲座（由李磊教授主持）。

核心信息很简单：KV缓存远不止是可缓存中间状态。

它是让推理系统变得智能的关键。

  • 如果缓存了，能节省成本、降低延迟。
  • 如果分析了，能揭示模型如何关注和理解上下文。
  • 如果优化了，不仅能提升性能，还能改善输出质量。

它不是负担，而是资产——（几乎）总是越多越好。

这正是业界大多数人仍低估的地方，尽管技术已经就绪：KV缓存压缩、混合、语义复用、跨模型共享、注意力引导、基于KV缓存的检索等等。

差距不在于想象力，而在于产品化。

KV缓存将成为未来推理基础设施中核心的AI原生数据层——不仅仅是存储的对象，更是我们管理、分析和优化的对象。

#KVCache #LMCache #LLMInference #Tensormesh #vLLM #SGLang #MLSys #HotInfra

相似文章