期待优化后的更智能的未来模型 .... 如 DeepSeek-V4.1-Flash (KVCache + Engram) 在小/中/大尺寸上的应用

对于许多人来说，在GPU上运行中等尺寸（约300亿参数）的Q8量化模型，配合未量化的KVCache（256K上下文）仍然是一个梦想。如果所有未来模型都能采用DeepSeek-V4.1-Flash的KVCache + Engram技术，那将非常棒。即使是大模型也是如此。Engram - 据说大约占模型大小的1/3到1/2。可能也会有不同的尺寸范围。因此对于300亿参数的模型，大约需要10-15 GB。这里列出了一些模型及其近似数值。当前模型在奇数行，未来/假设模型在偶数行（加粗）。尽管DeepSeek-V4.1-Flash对于100万上下文仅需1GB，但我下面仍为256K上下文标注了1GB。 型号 模型大小 256K KVCache F16 MTP Vision 总GB Qwen3.8-27B-Q8 29 16 1 1 47 **Qwen4.0-27B-Q8** 29 1 1 1 32 Qwen3.8-27B-Q4_K_M 17 16 1 1 35 **Qwen4.0-27B-Q4_K_M** 17 1 1 1 20 Muse-Glimmer-30B-Q8 30 16 1 1 48 **Muse-Glimmer-2-30B-Q8** 30 1 1 1 33 Gemma-4-31B 33 16 1 1 51 **Gemma-5-31B** 33 1 1 1 36 Qwen3.6-35B-A3B-Q4_K_M 23 6 1 1 31 **Qwen4.0-35B-A3B-Q4_K_M** 23 1 1 1 26 Gemma-4-26B-A4B-Q8 27 6 1 1 35 **Gemma-5-26B-A4B-Q8** 27 1 1 1 30 可能还有其他一些方法（请分享）可以进一步降低这些数值。因此，我认为32GB显存对于未来（优化后更智能）的模型来说绰绰有余。内存足以容纳Engram。基于上述逻辑（以Qwen4.0-27B为例），人们可以在相同的32GB显存下运行540亿参数的Q4量化模型。也许从明年开始，新技术可能使24GB显存足以运行类似尺寸的模型。