DeepSeek v4 (Flash) 的运行成本真的极低吗?如果是,原因是什么?
摘要
用户询问为什么 DeepSeek v4 Flash(284B 参数)相比于像 Qwen 27B 这样的更小模型运行成本如此之低,质疑这是否源于定价倾销或架构差异。答案可能涉及其 MoE 架构和高效的推理技术。
你好。我没有 GPU。所以我最大的“本地 LLM”体验是运行大约 26B 参数的模型,速度只有个位数的 tps。然而,DSv4 模型的“服务经济”对我来说像个谜。Flash 模型有 284B 参数,但提供商(例如 OpenRouter)收费低得离谱。比如它比 27B 的 Qwen 还便宜,而 Qwen 的(总)参数规模只有它的十分之一!这怎么可行?提供商是在定价倾销吗?还是 DSv4 的架构在服务成本上有某种独特的优势使其极其便宜?那些有过部署 DSv4 设备经验的人,有什么特别之处吗?谢谢
相似文章
Deepseek v4 Flash 确实惊艳,正准备入手一台 2.5 万美元的电脑
作者称赞 DeepSeek V4 Flash 实现了高性能的本地大语言模型部署,为此计划斥资 2.5 万美元采购硬件,以为对数据隐私要求严格的客户服务。
Deepseek涨价——Flash是唯一真正便宜且不差的模型。这正是我对V4感到担忧的地方。
Deepseek已上调其Flash模型的价格,该模型曾是唯一真正便宜且性能不错的选项。这一价格变动引发了对即将推出的V4模型的担忧。
@ciruai:在配备128GB内存的AMD Ryzen AI Max+ 395 Strix Halo上测试DeepSeek v4 Flash。在中等长度上下文中获得约15 TPS……
在配备128GB内存的AMD Ryzen AI Max+ 395上测试DeepSeek v4 Flash,本地运行284B MoE模型(13B活跃参数)可达约15 TPS。成本仅需3000美元,而数据中心配置需25000美元以上,凸显了在消费级硬件上运行大型模型的可行性。
Deepseek V4 Flash 在 RTX 5090 MoE 上运行
用户分享了在 RTX 5090 上使用 llama.cpp 的一个分支运行 DeepSeek-V4-Flash (Q2_K) 的优化基准测试结果,实现了 21.3 token/秒的生成速度和 100 万上下文大小。
deepseek-ai/DeepSeek-V4-Pro-DSpark
DeepSeek 发布了其 V4 系列的预览版本,包括 DeepSeek-V4-Pro(1.6T 参数,49B 激活)和 DeepSeek-V4-Flash(284B 参数,13B 激活),两者均支持百万 Token 上下文,并采用混合注意力、流形约束超连接和 Muon 优化器。