标签
在 10-12 张 RTX 3090 GPU 上运行 DeepSeek-V4-Flash-Vision-Exp 285B MoE 模型，可实现超过 60-120 tok/s 的解码速度，支持视觉和工具调用，文档完整，便于重现。
SGLang 现已集成 DSpark，这是一种置信驱动的推测解码方法，仅验证高置信度的草稿令牌，从而提升高负载下的推理效率。