@YRSM_Simon: 疯狂

X AI KOLs Timeline 模型
deepseek flash inference throughput nvidia benchmark

摘要

DeepSeek-V4-Flash-DSpark 在 4 块 RTX PRO 6000 GPU 上实现了 328 tok/s 的单次推理和 1.7k tok/s 的批量吞吐量。

疯狂
查看原文
查看缓存全文

缓存时间: 2026/07/09 09:40

疯狂

AI✖️Satoshi⏩️（@AiXsatoshi）： DeepSeek-V4-Flash-DSpark 在 4 块 RTX PRO 6000 上跑，进展相当不错了。

  • 单次推理：~328 tok/s
  • 批量吞吐：~1.7k tok/s

相似文章

DeepSeek-V4.1-Flash-1017 在单张 3090 上达 41 tok/s

Reddit r/LocalLLaMA

Delta Inference Engine 是一个 Windows 原生推理引擎，可在单张消费级 NVIDIA GPU 上以 2-bit 量化运行 5520 亿参数的 DeepSeek-V4.1-Flash-1017，RTX 3090 上生成速度达 41 tok/s，并提供 OpenAI 兼容 API。