@joey00072fp4: DeepSeek-V4.1-Flash, 两阶段解码器架构, 20+20=40层前20层构建csa2和swa的全局KV（称为e…

X AI KOLs Timeline 2026/09/10 17:50 模型

deepseek ai-model two-stage-architecture encoder-decoder efficiency kv-cache memory-management

摘要

DeepSeek-V4.1-Flash引入了两阶段解码器架构，具有40层，在预填充期间仅激活8B参数，在解码期间激活16B参数，并包含196B Engram内存，相比之前的版本在效率上有显著提升。

DeepSeek-V4.1-Flash, 两阶段解码器架构, 20+20=40 层前20层构建csa2和swa的全局KV（称为编码器）后20层仅构建swa，它们使用编码器生成的全局KV，预填充仅需要阶段1，因此激活8B参数解码需要两个阶段，因此激活16B参数

查看原文

查看缓存全文

缓存时间: 2026/09/10 22:27

DeepSeek-V4.1 Flash，
采用两阶段解码器架构，
共计20+20=40层网络。

前20层负责构建全局的csa2与swa的KV缓存（称为编码器阶段），
后20层仅使用swa并直接复用编码器生成的全局KV缓存。

预处理阶段仅需第一阶段，因此激活参数量为8B；
解码阶段则需同时使用两个阶段，激活参数量达16B。

SemiAnalysis (@SemiAnalysis_):
祝贺 @deepseek_ai 发布DeepSeek-V4.1-Flash！

> 拥有552B骨干网络，采用因果编码器-解码器架构，预处理时仅激活8B参数，解码时激活16B参数
> 通过稀疏检索访问196B Engram记忆系统
> 债券化重播机制使持久化KV缓存需求较V4-Flash降低约8倍