@YRSM_Simon: 疯狂

X AI KOLs Timeline 2026/07/09 09:22 模型

deepseek flash inference throughput nvidia benchmark

摘要

DeepSeek-V4-Flash-DSpark 在 4 块 RTX PRO 6000 GPU 上实现了 328 tok/s 的单次推理和 1.7k tok/s 的批量吞吐量。

疯狂

查看原文

查看缓存全文

缓存时间: 2026/07/09 09:40

疯狂

AI✖️Satoshi⏩️（@AiXsatoshi）： DeepSeek-V4-Flash-DSpark 在 4 块 RTX PRO 6000 上跑，进展相当不错了。

单次推理：~328 tok/s

批量吞吐：~1.7k tok/s

相似文章

X AI KOLs Following

Unsloth AI 宣布推出 DSpark，使 DeepSeek-V4-Flash GGUF 模型在本地运行速度提升约 1.4–2 倍，达到 120 tokens/s，且准确率无变化。

X AI KOLs Following

antirez 已发布 DeepSeek V4 Flash 的 GGUF 量化版本，使该模型能够在单张 GPU（如 RTX Pro 6000）以及 128GB 以上内存的 Mac 上运行。量化文件已上传至 Hugging Face，并附有 DS4 推理引擎的使用说明。

X AI KOLs Timeline

MiaAI Lab 发布了一项升级方案，用于在两台 DGX Spark 节点上使用 vLLM 结合 DSpark 推测解码和 NVFP4 KV-cache 来部署 DeepSeek V4 Flash，在六个并发会话中实现了高达 153.7 tokens/秒的吞吐量。

X AI KOLs Timeline

OpenInfer，一个纯粹的Rust+CUDA LLM推理引擎，快速添加了对DeepSeek的DSpark投机解码技术在RTX 5090上的支持，实现了每个用户近500 tok/s，并扩展至约2.4K聚合tok/s，在非随机工作负载上优于DFlash。

X AI KOLs Following

一位用户分享说，他们使用 antirez 的 DwarfStar-4 配置，在 DGX Spark 上复现了 DeepSeek-V4-Flash-0731 的运行，证实了该设备在单机上的出色性能。