@superalesha: 我在4张RTX 3090上把DeepSeek V4 Flash推理速度提升了29倍！！！不是开玩笑。15 → 443 t/s。一个23K的提示原本需要25分钟……

X AI KOLs Timeline 新闻
deepseek performance-optimization llama-cpp inference-speed quantization hardware

摘要

一位用户通过优化llama.cpp，在4张RTX 3090 GPU上实现了DeepSeek V4 Flash推理速度29倍提升，将23K提示从25分钟缩短至53秒。

我在4张RTX 3090上把DeepSeek V4 Flash推理速度提升了29倍！！！ 不是开玩笑。 15 → 443 t/s。一个23K的提示原本需要25分钟，现在只需要53秒。284B 2位量化，87GB，勉强塞进96GB。 我和Fable 5花了4天时间在llama.cpp上，修复了所有问题 https://t.co/i4PEerevOo
查看原文
查看缓存全文

缓存时间: 2026/07/10 06:10

我在4块3090上将deepseek v4 flash加速了29倍！！！ 这不是开玩笑。 从15到443 t/s。之前一个23k的提示需要25分钟。现在只需53秒。284b 2bit量化，87gb，勉强塞进96gb。 我和Fable 5花了4天在llama.cpp上。修复了所有损坏的问题 https://t.co/i4PEerevOo

相似文章

Deepseek V4 Flash 在 RTX 5090 MoE 上运行

Reddit r/LocalLLaMA

用户分享了在 RTX 5090 上使用 llama.cpp 的一个分支运行 DeepSeek-V4-Flash (Q2_K) 的优化基准测试结果，实现了 21.3 token/秒的生成速度和 100 万上下文大小。