Deepseek V4.1 Flash 是748B,不是552B

Reddit r/LocalLLaMA 模型

摘要

文章阐明了Deepseek V4.1 Flash AI模型的参数计数,详述了其组件如FFN专家和视觉编码器,并强调了部署所需的强大硬件要求。

人们对这个总是感到困惑,所以我查看了Huggingface上的safetensors。准确来说,主模型约有551.566B参数,包含40层。FFN专家总计543.582B参数,模型其余部分(注意力、共享专家等)为7.984B。Huggingface将模型列为485B,但那是因为他们将一些FP4打包权重计为字节而非参数(每字节2个FP4参数)。此外,engram约196.929B,DSpark/MTP约14.225B,而视觉编码器仅约0.485B。不过,这些部分在技术上是可选的。视觉编码器也比我预期的要小得多。总之,你需要一个强大的系统来运行这个。128GB或256GB的RAM/VRAM是不够的。
查看原文

相似文章

DeepSeek v4.1 Flash

Hacker News Top

DeepSeek 推出了 DeepSeek-V4.1-Flash,这是一款旨在增强能力、提升推理速度、实现原生视觉理解并具备可扩展性的新型 AI 模型,是其最新架构系列的一部分。

deepseek-ai/DeepSeek-V4-Flash-0731

Simon Willison's Blog

DeepSeek 发布了 DeepSeek-V4-Flash-0731,这是一个拥有 304B 参数的模型,具备增强的智能体能力,定价为每百万输入 token 0.14 美元、每百万输出 token 0.27 美元。该模型表现超出其体量,被 Artificial Analysis 评为最具智能性价比的模型。

DeepSeek-V4-Flash-0731

Product Hunt

DeepSeek 宣布推出 DeepSeek-V4-Flash-0731,这是一款以 Flash 级别定价提供先进能力的前沿智能体模型。