论文页面 - DeepSeek-V4.1-Flash：突破KV缓存压缩的极限

来源: https://huggingface.co/papers/2609.19969 作者:

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

长期智能体的广泛采用使模型工作负载日益倾向于输入密集型。尽管先前工作已显著降低了长上下文计算的成本，但预填充阶段的计算开销依然高昂，而大型KV缓存持续对高带宽内存和固态硬盘的容量及数据传输带宽造成压力。这些计算、存储和带宽需求共同构成了进一步降低部署成本的主要瓶颈。为应对这一挑战，我们推出了DeepSeek-V4.1-Flash——一个支持多达百万级上下文长度的多模态混合专家模型，其主干网络包含552B参数。凭借因果编码器-解码器架构，该模型在解码阶段激活16B参数，而在预填充阶段仅激活8B参数，显著提升了面向智能体工作负载的成本效率。为突破KV缓存压缩的极限，DeepSeek-V4.1-Flash结合了压缩稀疏注意力2中的跨层KV缓存复用机制与FP4 KV缓存量化技术。这些设计使其全局KV缓存占用量降至890字节/标记（始终存储于高带宽内存），约为DeepSeek-V4-Flash对应占用量的四分之一。此外，通过名为“滑动窗口有界重放”的专用部署优化，DeepSeek-V4.1-Flash将其持久化KV缓存占用量（始终存储于固态硬盘或主机内存）降至DeepSeek-V4-Flash的大约八分之一。尽管KV缓存占用量大幅缩减，该模型性能仍显著优于基线模型。同时，我们精简了DeepSeek-V4架构并引入了多项高效架构扩展。我们在包含45万亿标记的多模态语料库上对DeepSeek-V4.1-Flash进行了预训练，并执行了全面的后训练，使其在各类基于文本和多模态的智能体场景中均展现出卓越性能。模型检查点可在 https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash 获取。

查看arXiv页面 (https://arxiv.org/abs/2609.19969) 查看PDF (https://arxiv.org/pdf/2609.19969) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.19969)

引用本文的模型 0

无模型链接本文

在模型README.md中引用 arxiv.org/abs/2609.19969 以从此页面链接。

引用本文的数据集 0

无数据集链接本文

在数据集README.md中引用 arxiv.org/abs/2609.19969 以从此页面链接。

引用本文的Space 0

无Space链接本文

在Space README.md中引用 arxiv.org/abs/2609.19969 以从此页面链接。

包含本文的收藏夹 0

无收藏夹包含本文

将本文添加到收藏夹 (https://huggingface.co/new-collection) 以从此页面链接。