kv-cache

标签

Cards List
#kv-cache

可以省略,值得省略吗?当一个大语言模型智能体跳过另一个智能体的消息时,如何保留答案并降低延迟

arXiv cs.LG ↗ · 昨天 缓存

本文提出了一种动态跳过机制,使基于大语言模型的接收智能体能够在置信度较高时,跳过辅助智能体的消息(文本或 KV 缓存)。该机制使用有限样本统计检验,在降低延迟的同时,保证答案变化率不超过 5%。在 OpenBookQA、ARC-Challenge、MMLU-Pro、SQuAD 和 GSM8K 上的评估表明,该方法在前瞻性测试中跳过了 39.9%–68.4% 的消息,同时保留了辅助智能体带来的几乎全部准确率增益。

0 人收藏 0 人点赞
#kv-cache

@YichiZ03: 3 分钟讲清 AI Infra,第 6 天 今天我们来聊聊 KV Cache。作为 LLM 推理的核心,理解…

X AI KOLs Timeline ↗ · 昨天 缓存

3 分钟讲清 AI Infra 第 6 天介绍 KV Cache 机制,作为 LLM 推理的核心与后续优化策略的基础,并附带 Datawhale 与 RadixArk 联合推出的 zero-to-sglang 从零构建推理引擎教程。

0 人收藏 0 人点赞
#kv-cache

我发现一篇被引用了455次的MLSys论文,其实现中存在一个重大错误,导致其核心论点之一不成立 [R]

Reddit r/MachineLearning ↗ · 2天前

一篇 Reddit 帖子指出,一篇被广泛引用的 MLSys 论文(arXiv:2311.04934)未能正确实现其所声称的按块隔离的 KV 缓存处理,而是使用了完整的因果注意力机制——这使得用于支持其“输出质量不受影响”这一核心主张的实验失去了有效性。

0 人收藏 0 人点赞
#kv-cache

KVUse:面向高效大语言模型推荐系统的可复用 KV 用户记忆

arXiv cs.LG ↗ · 2天前 缓存

Meta 研究人员提出了 KVUse,将大语言模型推荐系统中的用户画像存储为可复用的键值缓存,而非文本,并利用自蒸馏的 LoRA 写入器和定制的 KV 调度器,消除重复的预填充。在四个 InstructRec 数据集上,基于 Llama-3.1-8B-Instruct 的测试表明,它的排序质量与完整预填充相当,同时将评分路径的吞吐量提升至原来的 4.0–4.5 倍。

0 人收藏 0 人点赞
#kv-cache

KV-LTM:将持久化的会话级 KV 缓存用作个人助理的长期记忆

arXiv cs.AI ↗ · 2天前 缓存

KV-LTM 提出将每个会话的原始文本与 KV 缓存持久化为个人助理的长期记忆层,通过恢复缓存会话并追加问题来回答,从而避免写入或读取时的信息损失,并给出存储开销的解析估算与评估协议。

0 人收藏 0 人点赞
#kv-cache

RISA:用于分块扩散语言模型的可恢复稀疏注意力

arXiv cs.CL ↗ · 2天前 缓存

RISA提出了一种面向块级扩散语言模型的可恢复稀疏注意力方法,通过共享读取计划与优先/恢复分层,在不改变骨干网络的情况下,在32K与128K上下文中分别实现最高2.67×和5.53×的注意力加速,同时保持可比的任务性能。

0 人收藏 0 人点赞
#kv-cache

循环语言模型中的延迟进入解码

Hugging Face Daily Papers ↗ · 2天前 缓存

该论文为循环语言模型提出「延迟进入」(late entry)解码策略:新 token 跳过初始几遍处理,直接进入对深层上下文缓存的最后 K 遍遍历,在 Ouro-2.6B 和 Huginn-3.5B 等模型上,相比匹配的基线实现了最高 5.2 倍至 12.5 倍的贪心精确解码加速。

0 人收藏 0 人点赞
#kv-cache

MovieRoll:长视频流式生成的系统化框架

Papers with Code Trending ↗ · 4天前 缓存

MovieRoll 提出了一种基于基础模型到蒸馏模型的流式长视频生成框架,结合窗口级教师强制(Window-wise Teacher Forcing)、分层 KV-cache 压缩(HieraKV,缓存内存最多降低 78%)以及累积长程调优蒸馏(CuLT-DMD),在训练时长之外持续保持生成质量,在 HeliosBench 上长达 60 秒的任务中取得最高分。

0 人收藏 0 人点赞
#kv-cache

@amitiitbhu:LLM 推理工程路线图 第一部分:基础 1. 训练 vs 推理 2. 推理工程 3. 闭源 vs 开…

X AI KOLs Following ↗ · 4天前 缓存

一份涵盖 17 个部分的全面学习路线图,内容涵盖 LLM 推理工程,从基础概念和 Transformer 架构,到性能指标、硬件、注意力优化、量化以及生产基础设施。

0 人收藏 0 人点赞
#kv-cache

多分支 Transformer

Hugging Face Daily Papers ↗ · 5天前 缓存

多分支 Transformer(MBT)将 Transformer 块拆分为多个并行的参数化分支,并共享初始层和最终层。其采用共享 Joint-KV 缓存的 Balanced 变体在相同计算量下优于顺序式 Transformer,同时将 KV 缓存存储需求降低 34%,并在 H200 上将解码吞吐量提升高达 51.4%。

0 人收藏 0 人点赞
#kv-cache

持续演进的基础设施:适应智能体的大规模大语言模型服务

Papers with Code Trending ↗ · 2026-11-09 缓存

提出 Evolving Infra,一种面向智能体工作负载的自适应大语言模型服务框架,解耦计算分配与 KV 缓存管理。实验显示,在 GLM-5.2 和 KimiK2.6 上,其端到端延迟及第 95 百分位首词元生成时间(P95 TTFT)较 NVIDIA Dynamo 最多分别降至原来的 1/4.1 和 1/14。

0 人收藏 0 人点赞
#kv-cache

@PyTorch:在最近由 PyTorchKR 和 XCENA 联合主办的 KVCache 韩国见面会上,来自 XCENA、SK 海力士、FuriosaAI 和 LMC 的演讲嘉宾……

X AI KOLs Following ↗ · 2026-11-03 缓存

由 PyTorchKR 和 XCENA 联合主办的 KVCache Meetup Korea 2026 邀请了来自 XCENA、SK 海力士、FuriosaAI 和 LMCache 的嘉宾,围绕 CXL 内存池化、GPU/HBM Roofline 分析、RNGD 上的批次调度以及进程隔离的 KV Cache 服务进行了演讲。

0 人收藏 0 人点赞
#kv-cache

[论文] RidgeFill:无训练的深层缓存填充,加速 Prefill

Reddit r/LocalLLaMA ↗ · 2026-11-02

RidgeFill 通过用闭式解岭回归预测深层输入、跳过大部分上层计算来加速 LLM prefill,在 Qwen3.8 系列上实现最高 1.6x 的 TTFT 提速,且几乎不损失检索精度。

0 人收藏 0 人点赞
#kv-cache

@KanikaBK:我认为,AI 记忆优化中最大的错误之一,就是衡量你删掉了多少 token,而不是衡量你……

X AI KOLs Timeline ↗ · 2026-11-02 缓存

一篇关于 NVIDIA 的 TriAttention 研究的讨论,该研究聚焦于 vLLM 中的 KV 缓存压缩,认为真正的收益来自释放 GPU 内存块,而非逐出 token。据报告,解码速度提升至 2.5 倍,KV 缓存内存占用降至原来的 1/10.7。

0 人收藏 0 人点赞
#kv-cache

KV 缓存修补:追踪微调行为如何产生及在何处产生

arXiv cs.CL ↗ · 2026-11-02 缓存

本文提出了双向 KV 缓存修补方法,用于追踪微调所形成的行为如何在语言模型中实现。研究表明,通过复用 KV 缓存,可以在经 LoRA 微调的模型与其基础模型之间迁移用德语回答或涌现性失对齐等行为,其影响主要集中在系统提示和聊天模板位置等关键词元上。

0 人收藏 0 人点赞
#kv-cache

利用智能体软令牌为长时程大语言模型智能体进行模型内上下文压缩

arXiv cs.CL ↗ · 2026-11-02 缓存

本文介绍了智能体软令牌压缩(Agentic Soft-Token Compression,ASTC),这是一种无需训练的方法,利用大语言模型原生的循环动态机制(GDN-attention),将智能体的长时程上下文压缩为软令牌,在注意力对数量最多减少 50.68% 的情况下,达到或超过未压缩时的准确率。

0 人收藏 0 人点赞
#kv-cache

8 个智能体 × 250K 上下文,在两张 3090 显卡上并发运行(总计约 600+ token/秒)

Reddit r/LocalLLaMA ↗ · 2026-11-02

一位开发者分享了开源的 vLLM 补丁和 Triton 内核,通过将完整的 int4 KV 缓存保存在系统内存中,并利用秩为 64 的键草图在每个注意力计算步骤中仅提取约 1% 的 token,实现了在两张 RTX 3090 上并发运行 8 个上下文长度为 25 万 token 的编程智能体。据其报告,总吞吐量约为 545–790 token/秒,在 25 万 token 的上下文长度下,召回成绩为 31/32。

0 人收藏 0 人点赞
#kv-cache

抱歉,Sam,我那“相当糟糕”的家用 DRAM 现在已经满载了:给 Strata 打了个补丁,让 DeepSeek V4.1 智能体会话在一块老式普通游戏显卡上的启动速度提升了 20 倍,无需数据中心

Reddit r/LocalLLaMA ↗ · 2026-11-02

一位开发者为 Strata 打了补丁,通过添加 KV 拼接式提示词缓存,并在读取提示词时仅将请求路由到常驻显存的专家,使 DeepSeek V4.1 智能体会话在消费级硬件上的运行速度提升至原来的 20 倍,让一个支持 100 万 token 上下文的模型在游戏显卡上完全离线运行。

0 人收藏 0 人点赞
#kv-cache

同一任务、同一模型:一次40秒,下一次261秒——我自己设计的"任务完成了吗?"检查反而在拒绝正确答案

Reddit r/AI_Agents ↗ · 2026-11-01

一位开发者排查为何在同一台机器上运行本地27B模型的浏览器智能体,相同任务耗时却从40秒到261秒不等,最终发现罪魁祸首是负责校验需求的规则层强制执行了不必要的页面打开操作,而非模型本身的问题。

0 人收藏 0 人点赞
#kv-cache

GAAC:面向个人设备上带宽高效的大语言模型推理的无损 KV 压缩

arXiv cs.AI ↗ · 2026-10-31 缓存

GAAC 是一种无损 KV 缓存压缩与推理服务系统,通过分组自适应编码和融合注意力内核,利用 BF16 指数部分的冗余,在不对 KV 值进行近似处理的情况下,在 NVIDIA DGX Spark 和 Apple M4 上实现约 1.4 倍的 KV 压缩比和 1.04–1.27 倍的加速。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈