DeepSeek V4 Flash（98GB）在单块4060 Ti加CPU上本周速度提升300% [从2t/s到7t/s]
摘要
DeepSeek V4 Flash（98GB）现在通过CPU卸载，在单块RTX 4060 Ti上运行速度可达每秒7个token，相比上周的2t/s提升了3倍。
暂无内容
相似文章
Deepseek V4 Flash 在 RTX 5090 MoE 上运行
用户分享了在 RTX 5090 上使用 llama.cpp 的一个分支运行 DeepSeek-V4-Flash (Q2_K) 的优化基准测试结果，实现了 21.3 token/秒的生成速度和 100 万上下文大小。
DeepSeek-V4-Flash W4A16+FP8 结合 MTP 自推测：在 2 张 RTX PRO 6000 Max-Q 上以 524K 上下文长度实现 85 tok/s
这篇文章详细介绍了一个经过定制并量化的 DeepSeek-V4-Flash 模型版本，启用了 MTP 自推测功能。通过修改后的 vLLM 设置，在双 RTX PRO 6000 Max-Q GPU 上实现了显著的速度提升。
在本地用4张老款RTX 2080 Ti运行DeepSeek-V4（2000美元预算配置）。自定义图灵内核、W8A8量化，以及255个预填充token/秒！
一位开发者成功在四张RTX 2080 Ti GPU上以2500美元预算本地运行DeepSeek-V4-Flash（总计284B，激活13B），通过自定义图灵CUDA内核、W8A8量化和异构推理实现了255个预填充token/秒。该实现已开源。
@superalesha: 我在4张RTX 3090上把DeepSeek V4 Flash推理速度提升了29倍！！！不是开玩笑。15 → 443 t/s。一个23K的提示原本需要25分钟……
一位用户通过优化llama.cpp，在4张RTX 3090 GPU上实现了DeepSeek V4 Flash推理速度29倍提升，将23K提示从25分钟缩短至53秒。
DeepSeek v4 Flash 在 4090 + DDR5 上的体验
一位用户分享了在 24GB 显卡和 DDR5 内存上运行 DeepSeek v4 Flash 模型的体验，包括性能数据和优化技巧。