kv-cache

标签

Cards List
#kv-cache

KV 缓存与循环记忆:我们是否让 Transformer 过多地通过 token 进行推理?

Reddit r/singularity ↗ · 10小时前

一场讨论比较了 Transformer(KV 缓存)与循环式架构(Mamba-2、RWKV、Titans、BDH)处理记忆的方式,并质疑模型是否过度依赖基于 token 的推理和更长的上下文,而非更新内部记忆状态。

0 人收藏 0 人点赞
#kv-cache

@GergelyOrosz:好吧,这是每一位软件工程师都必须理解的重要内容:推理工程入门:从 KV 中读取……

X AI KOLs Following ↗ · 13小时前 缓存

Gergely Orosz 解释了为什么 AI 推理利润丰厚,指出从 KV 缓存中读取数据的成本很低,而推测解码能提高效率——编程工作负载大量使用这两种技术——同时引用了 Vlad Mihalcea 对 Anthropic 定价经济逻辑的困惑(200 美元的套餐,对应按用量计费约 10 万美元的 token 价值)。

0 人收藏 0 人点赞
#kv-cache

用于 KV 缓存驱逐的全局重要性估计

arXiv cs.CL ↗ · 23小时前 缓存

KAIST 研究人员提出了 PRKV,一种无需训练的 KV 缓存淘汰方法。该方法在由注意力构建的图上使用个性化 PageRank,估计词元的多跳全局重要性,实现了高达 90% 的压缩率,同时在长上下文、检索和推理任务中保持了具有竞争力的性能。

0 人收藏 0 人点赞
#kv-cache

@baseten:推出 WavePP——一种流水线并行运行时,将每个 PP 阶段作为独立 worker 运行,各自拥有自己的 KV 缓存……

X AI KOLs Timeline ↗ · 昨天 缓存

WavePP 是基于 TensorRT-LLM 构建的流水线并行 prefill 运行时,将请求准入与流水线执行相重叠,在 GLM 5.2、MiniMax M2.7 和 Kimi K3 基准测试中,在高前缀复用场景下实现了高达 2.9 倍的 prefill 吞吐提升。

0 人收藏 0 人点赞
#kv-cache

@anuragdotdev:学习 LLM 推理,动手构建真实项目,以后再来感谢我 入门所需的一切 > https://kipp.ly/transformer-inf…

X AI KOLs Timeline ↗ · 昨天 缓存

一条推文汇总了学习 LLM 推理的关键资源,核心是一篇关于 transformer 推理算术的详细博客文章,涵盖 KV cache、模型并行、延迟计算、批处理大小以及 FLOPs 统计,并附有实际基准测试。

0 人收藏 0 人点赞
#kv-cache

可以省略,值得省略吗?当一个大语言模型智能体跳过另一个智能体的消息时,如何保留答案并降低延迟

arXiv cs.LG ↗ · 昨天 缓存

本文提出了一种动态跳过机制,使基于大语言模型的接收智能体能够在置信度较高时,跳过辅助智能体的消息(文本或 KV 缓存)。该机制使用有限样本统计检验,在降低延迟的同时,保证答案变化率不超过 5%。在 OpenBookQA、ARC-Challenge、MMLU-Pro、SQuAD 和 GSM8K 上的评估表明,该方法在前瞻性测试中跳过了 39.9%–68.4% 的消息,同时保留了辅助智能体带来的几乎全部准确率增益。

0 人收藏 0 人点赞
#kv-cache

通过动态路由、KV 中心执行与运行时流水线加速 Mixture of Block Attention

Hugging Face Daily Papers ↗ · 2天前 缓存

论文提出 LightningMoBA,通过动态相对阈值路由、面向数据复用的 KV 中心查询分组以及在 Hopper GPU 上的流水线执行来加速 Mixture of Block Attention,端到端相比 FlashMoBA 实现 1.20–1.60 倍加速,并提升了 RULER 得分。

0 人收藏 0 人点赞
#kv-cache

@YichiZ03: 3 分钟讲清 AI Infra,第 6 天 今天我们来聊聊 KV Cache。作为 LLM 推理的核心,理解…

X AI KOLs Timeline ↗ · 2天前 缓存

3 分钟讲清 AI Infra 第 6 天介绍 KV Cache 机制,作为 LLM 推理的核心与后续优化策略的基础,并附带 Datawhale 与 RadixArk 联合推出的 zero-to-sglang 从零构建推理引擎教程。

0 人收藏 0 人点赞
#kv-cache

我发现一篇被引用了455次的MLSys论文,其实现中存在一个重大错误,导致其核心论点之一不成立 [R]

Reddit r/MachineLearning ↗ · 2天前

一篇 Reddit 帖子指出,一篇被广泛引用的 MLSys 论文(arXiv:2311.04934)未能正确实现其所声称的按块隔离的 KV 缓存处理,而是使用了完整的因果注意力机制——这使得用于支持其“输出质量不受影响”这一核心主张的实验失去了有效性。

0 人收藏 0 人点赞
#kv-cache

KVUse:面向高效大语言模型推荐系统的可复用 KV 用户记忆

arXiv cs.LG ↗ · 2天前 缓存

Meta 研究人员提出了 KVUse,将大语言模型推荐系统中的用户画像存储为可复用的键值缓存,而非文本,并利用自蒸馏的 LoRA 写入器和定制的 KV 调度器,消除重复的预填充。在四个 InstructRec 数据集上,基于 Llama-3.1-8B-Instruct 的测试表明,它的排序质量与完整预填充相当,同时将评分路径的吞吐量提升至原来的 4.0–4.5 倍。

0 人收藏 0 人点赞
#kv-cache

KV-LTM:将持久化的会话级 KV 缓存用作个人助理的长期记忆

arXiv cs.AI ↗ · 2天前 缓存

KV-LTM 提出将每个会话的原始文本与 KV 缓存持久化为个人助理的长期记忆层,通过恢复缓存会话并追加问题来回答,从而避免写入或读取时的信息损失,并给出存储开销的解析估算与评估协议。

0 人收藏 0 人点赞
#kv-cache

RISA:用于分块扩散语言模型的可恢复稀疏注意力

arXiv cs.CL ↗ · 2天前 缓存

RISA提出了一种面向块级扩散语言模型的可恢复稀疏注意力方法,通过共享读取计划与优先/恢复分层,在不改变骨干网络的情况下,在32K与128K上下文中分别实现最高2.67×和5.53×的注意力加速,同时保持可比的任务性能。

0 人收藏 0 人点赞
#kv-cache

循环语言模型中的延迟进入解码

Hugging Face Daily Papers ↗ · 3天前 缓存

该论文为循环语言模型提出「延迟进入」(late entry)解码策略:新 token 跳过初始几遍处理,直接进入对深层上下文缓存的最后 K 遍遍历,在 Ouro-2.6B 和 Huginn-3.5B 等模型上,相比匹配的基线实现了最高 5.2 倍至 12.5 倍的贪心精确解码加速。

0 人收藏 0 人点赞
#kv-cache

MovieRoll:长视频流式生成的系统化框架

Papers with Code Trending ↗ · 5天前 缓存

MovieRoll 提出了一种基于基础模型到蒸馏模型的流式长视频生成框架,结合窗口级教师强制(Window-wise Teacher Forcing)、分层 KV-cache 压缩(HieraKV,缓存内存最多降低 78%)以及累积长程调优蒸馏(CuLT-DMD),在训练时长之外持续保持生成质量,在 HeliosBench 上长达 60 秒的任务中取得最高分。

0 人收藏 0 人点赞
#kv-cache

@amitiitbhu:LLM 推理工程路线图 第一部分:基础 1. 训练 vs 推理 2. 推理工程 3. 闭源 vs 开…

X AI KOLs Following ↗ · 5天前 缓存

一份涵盖 17 个部分的全面学习路线图,内容涵盖 LLM 推理工程,从基础概念和 Transformer 架构,到性能指标、硬件、注意力优化、量化以及生产基础设施。

0 人收藏 0 人点赞
#kv-cache

多分支 Transformer

Hugging Face Daily Papers ↗ · 6天前 缓存

多分支 Transformer(MBT)将 Transformer 块拆分为多个并行的参数化分支,并共享初始层和最终层。其采用共享 Joint-KV 缓存的 Balanced 变体在相同计算量下优于顺序式 Transformer,同时将 KV 缓存存储需求降低 34%,并在 H200 上将解码吞吐量提升高达 51.4%。

0 人收藏 0 人点赞
#kv-cache

持续演进的基础设施:适应智能体的大规模大语言模型服务

Papers with Code Trending ↗ · 2026-11-09 缓存

提出 Evolving Infra,一种面向智能体工作负载的自适应大语言模型服务框架,解耦计算分配与 KV 缓存管理。实验显示,在 GLM-5.2 和 KimiK2.6 上,其端到端延迟及第 95 百分位首词元生成时间(P95 TTFT)较 NVIDIA Dynamo 最多分别降至原来的 1/4.1 和 1/14。

0 人收藏 0 人点赞
#kv-cache

@PyTorch:在最近由 PyTorchKR 和 XCENA 联合主办的 KVCache 韩国见面会上,来自 XCENA、SK 海力士、FuriosaAI 和 LMC 的演讲嘉宾……

X AI KOLs Following ↗ · 2026-11-03 缓存

由 PyTorchKR 和 XCENA 联合主办的 KVCache Meetup Korea 2026 邀请了来自 XCENA、SK 海力士、FuriosaAI 和 LMCache 的嘉宾,围绕 CXL 内存池化、GPU/HBM Roofline 分析、RNGD 上的批次调度以及进程隔离的 KV Cache 服务进行了演讲。

0 人收藏 0 人点赞
#kv-cache

[论文] RidgeFill:无训练的深层缓存填充,加速 Prefill

Reddit r/LocalLLaMA ↗ · 2026-11-02

RidgeFill 通过用闭式解岭回归预测深层输入、跳过大部分上层计算来加速 LLM prefill,在 Qwen3.8 系列上实现最高 1.6x 的 TTFT 提速,且几乎不损失检索精度。

0 人收藏 0 人点赞
#kv-cache

@KanikaBK:我认为,AI 记忆优化中最大的错误之一,就是衡量你删掉了多少 token,而不是衡量你……

X AI KOLs Timeline ↗ · 2026-11-02 缓存

一篇关于 NVIDIA 的 TriAttention 研究的讨论,该研究聚焦于 vLLM 中的 KV 缓存压缩,认为真正的收益来自释放 GPU 内存块,而非逐出 token。据报告,解码速度提升至 2.5 倍,KV 缓存内存占用降至原来的 1/10.7。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈