@YRSM_Simon: 疯狂

X AI KOLs Timeline 2026/07/09 09:22 模型

deepseek flash inference throughput nvidia benchmark

摘要

DeepSeek-V4-Flash-DSpark 在 4 块 RTX PRO 6000 GPU 上实现了 328 tok/s 的单次推理和 1.7k tok/s 的批量吞吐量。

疯狂

查看原文

查看缓存全文

缓存时间: 2026/07/09 09:40

疯狂

AI✖️Satoshi⏩️（@AiXsatoshi）： DeepSeek-V4-Flash-DSpark 在 4 块 RTX PRO 6000 上跑，进展相当不错了。

单次推理：~328 tok/s

批量吞吐：~1.7k tok/s

相似文章

X AI KOLs Following

antirez 已发布 DeepSeek V4 Flash 的 GGUF 量化版本，使该模型能够在单张 GPU（如 RTX Pro 6000）以及 128GB 以上内存的 Mac 上运行。量化文件已上传至 Hugging Face，并附有 DS4 推理引擎的使用说明。

X AI KOLs Timeline

MiaAI Lab 发布了一项升级方案，用于在两台 DGX Spark 节点上使用 vLLM 结合 DSpark 推测解码和 NVFP4 KV-cache 来部署 DeepSeek V4 Flash，在六个并发会话中实现了高达 153.7 tokens/秒的吞吐量。

X AI KOLs Timeline

OpenInfer，一个纯粹的Rust+CUDA LLM推理引擎，快速添加了对DeepSeek的DSpark投机解码技术在RTX 5090上的支持，实现了每个用户近500 tok/s，并扩展至约2.4K聚合tok/s，在非随机工作负载上优于DFlash。

Reddit r/LocalLLaMA

DeepSeek V4 Flash（98GB）现在通过CPU卸载，在单块RTX 4060 Ti上运行速度可达每秒7个token，相比上周的2t/s提升了3倍。

Reddit r/LocalLLaMA

用户分享了在 RTX 5090 上使用 llama.cpp 的一个分支运行 DeepSeek-V4-Flash (Q2_K) 的优化基准测试结果，实现了 21.3 token/秒的生成速度和 100 万上下文大小。