DeepSeek V4 Flash（98GB）在单块4060 Ti加CPU上本周速度提升300% [从2t/s到7t/s]

Reddit r/LocalLLaMA 模型
deepseek-v4 performance inference cpu-offloading hardware

摘要

DeepSeek V4 Flash（98GB）现在通过CPU卸载，在单块RTX 4060 Ti上运行速度可达每秒7个token，相比上周的2t/s提升了3倍。

暂无内容
查看原文

相似文章

Deepseek V4 Flash 在 RTX 5090 MoE 上运行

Reddit r/LocalLLaMA

用户分享了在 RTX 5090 上使用 llama.cpp 的一个分支运行 DeepSeek-V4-Flash (Q2_K) 的优化基准测试结果，实现了 21.3 token/秒的生成速度和 100 万上下文大小。

DeepSeek-v4-Flash-Mini 54GB GGUF 运行速度约 20.5 t/s

Reddit r/LocalLLaMA

一个社区构建将 DeepSeek-V4-Flash 压缩为 54GB 的 IQ2_XXS GGUF 变体，采用激进的 2 位量化，在本地硬件上实现了约 20.5 tokens/s 的速度，同时大幅降低了显存/内存占用。