DeepSeek-V4-Flash-Vision-Exp (285B MoE) 在 10-12 张 RTX 3090 上 — 推测解码，视觉

Reddit r/LocalLLaMA 模型
deepseek-v4 moe-model spec-decoding vision-ai rtx-3090 vllm consumer-gpu

摘要

在 10-12 张 RTX 3090 GPU 上运行 DeepSeek-V4-Flash-Vision-Exp 285B MoE 模型，可实现超过 60-120 tok/s 的解码速度，支持视觉和工具调用，文档完整，便于重现。

在消费级 Ampere 架构上运行完整的 deepseek-ai/DeepSeek-V4-Flash-Vision-Exp — 10-12 张 RTX 3090，SM86 兼容的 vLLM 构建。285B MoE 模型，FP4 专家 + FP8 注意力，权重大小 157 GB。亮点： - **60+ tok/s** 解码，DSpark 推测 (k=3) 在 10 张 GPU 上 (TP2xPP5)，功耗限制 240 W - **120+ tok/s** 在 12 张 GPU 上 (TP4xPP3) - **视觉 + 推测 + 工具调用全部正常工作** - **1M 上下文** (无卸载) / **4M** (RAM 卸载) - ~3,500 tok/s 长上下文预填充 完整记录且可重现： - 预构建镜像：`docker pull ghcr.io/ciprianveg/3090-vllm:dsv4-flash-vision-sm86` - 仓库：https://github.com/ciprianveg/3090-vllm (构建指南，启动脚本，运行时补丁) 补丁涵盖了 DSpark propose-gate (推测 + 视觉修复)、调度器 mm x spec 行交叉、语法位掩码验证、视觉 ViT 内存溢出修复、FlashInfer 工作区通道键控等。
查看原文

相似文章

仅用一张 RTX 3090ti 和 128GB 内存就取得了惊人的效果。Deepseek-V4.1-Flash-1017（35 tok/s 解码速度）和 Qwen3.8-Flash-Next（130 tok/s 解码速度）。

Reddit r/LocalLLaMA

一位用户分享了一份详细的搭建指南，介绍如何在较旧的消费级硬件（RTX 3090 Ti、128GB 内存、Threadripper 3990X）上运行 DeepSeek-V4.1-Flash-1017（约 35 tok/s）和 Qwen3.8-Flash-Next（约 130-140 tok/s），内容涵盖通过开源内核模块解锁 NVIDIA 固件降频限制，以及构建 Xolotl 推理引擎。

Deepseek V4 Flash 在 RTX 5090 MoE 上运行

Reddit r/LocalLLaMA

用户分享了在 RTX 5090 上使用 llama.cpp 的一个分支运行 DeepSeek-V4-Flash (Q2_K) 的优化基准测试结果，实现了 21.3 token/秒的生成速度和 100 万上下文大小。

DeepSeek-V4.1-Flash-1017 在单张 3090 上达 41 tok/s

Reddit r/LocalLLaMA

Delta Inference Engine 是一个 Windows 原生推理引擎，可在单张消费级 NVIDIA GPU 上以 2-bit 量化运行 5520 亿参数的 DeepSeek-V4.1-Flash-1017，RTX 3090 上生成速度达 41 tok/s，并提供 OpenAI 兼容 API。