@Necokeine: 大家不是做MaaS的可能不清楚，DeepSeek开源的DeepInfer其实是一个非常为DeepSeek 4.1F非常深度定制的。 我举个例子，DeepInfer的任务摊派是完全不考虑显存容量的，为什么呢？因为DS 4.1F的KV极度优化…
摘要
讨论指出 DeepSeek 开源的 DeepInfer 是为 DeepSeek 4.1F 深度定制的推理框架，其 KV cache 极度优化（每 token 仅 890 字节），因此任务调度完全无需考虑显存容量；相比之下 Kimi 系列模型 KV cache 开销高出 15-30 倍，导致推理性能和用户体验不佳。
查看缓存全文
缓存时间: 2026/10/28 17:38
大家不是做MaaS的可能不清楚，DeepSeek开源的DeepInfer其实是一个非常为DeepSeek 4.1F非常深度定制的。 我举个例子，DeepInfer的任务摊派是完全不考虑显存容量的，为什么呢？因为DS 4.1F的KV极度优化，每个token只需要890个Byte，相当于即使一整条1M个token的上下文，也只需要890M，不到1G的显存。这在别家几乎是不可能的，即使是DS 4F，也需要这个尺寸的四倍。 就是因为有这么小的KV cache，DeepInfer可以完全不考虑显存，直接只限制batch size。 且不说Kimi K3.1那巨大的模型尺寸，巨大的激活参数带来的各种麻烦。K3时代，每个token在bf16时需要27kB，30倍左右的开销，即使FP8，也是15倍的开销。这种巨大的kv cache上的差异，再配合Kimi那主打长上下文的特性…… 推理工作非常难以展开的。
云辰 Cyan (@CyanCloud77): Kimi 抄 Deepseek 推理框架都不会吗
kimi 的问题就是 infra 太差了，也就是推理性能太差了
导致订阅用户额度光速掉完，还宣发一堆幺蛾子
明明是一个很强的模型😑😑😑
相似文章
@jakevin7: 天不生 DeepSeek，万古如长夜。 DeepSeek 把自己内部用来跑生产服务的推理框架 DeepInfer 完全开源了。这个框架是他们用来驱动 DeepSeek-V4.1-Flash 模型的高性能推理引擎，强调高吞吐 + 低延迟。 …
DeepSeek 将其内部生产级推理框架 DeepInfer 完全开源，该框架用于驱动 DeepSeek-V4.1-Flash 模型，强调高吞吐与低延迟；同时还开源了 deepseek-recipe 组件以保证社区部署与官方 API 行为一致。
DeepInfer：DeepSeek 模型高性能推理框架
DeepSeek 开源了 DeepInfer——支撑其大规模生产服务的高性能推理框架，具备优化内核、MoE 专家并行、投机解码、批不变推理等特性，并支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。
@_avichawla：DeepSeek 又做到了！他们刚刚开源了 DeepInfer，这是其缓存命中时能返回首个 to… 的推理技术栈
DeepSeek 开源了其推理技术栈 DeepInfer，通过 3FS 复用 SSD 上的 KV 缓存，借助 MLA 将 KV 缓存压缩 93% 的能力，实现首个 token 生成速度最高提升至 26 倍。
DeepSeek V4.1 Flash：大规模推理部署（15 分钟阅读）
DeepSeek V4.1 Flash 的大规模推理部署文章，介绍 DeepInfer 结合分布式推理、缓存、负载均衡与投机解码提升效率，DeepSeek 单集群日处理 155 万亿 token，每 GPU 小时收入 38 美元，并开源了大部分推理框架。
@karminski3: 魔法! DeepSeekV4 上下文内存压缩到1/10! 大家都知道 DeepSeekV4 是支持1M上下文的, 而且经过了极度优化, 如果要真的用到1M上下文, 显存占用只需要10G左右, (对比之下 DeepSeek-V3.2 大概需…
FlashMemory-DeepSeek-V4提出了一种名为Lookahead Sparse Attention（LSA）的新型推理范式，通过神经内存索引器主动预测未来上下文需求，将物理KV缓存占用压缩至全上下文基线的13.5%，同时平均精度提升0.6%。该方法采用解耦训练策略，无需加载基座模型即可独立训练索引器，显著降低训练成本。