@WescheNex1q: 16人同时与Qwen3.6-35B聊天，仅用一台DGX Spark。这是真实截图，并非模拟：您看到的每个token均…
摘要
一个实时演示展示了16个并发用户在同一台DGX Spark上与Qwen3.6-35B聊天，使用vLLM上的NVFP4 + MTP-3，达到总峰值440 tok/s，每用户105 tok/s。
查看缓存全文
缓存时间: 2026/07/09 21:52
16人同时与Qwen3.6-35B聊天
一台DGX Spark。
这是真实截图，非模拟：你看到的每个token都按实际测得的到达时间回放。峰值约440 tok/s。单个用户可获得105 tok/s。 在vLLM上使用NVFP4 + MTP-3。https://t.co/lwmYWrvYAP
相似文章
今日在双DGX Spark上运行Qwen3.8-Flash-Next时聚合吞吐量达到181 tok/s
使用2台DGX Spark集群，通过NVMe映射和推测解码等优化，在Qwen3.8-Flash-Next模型上实现了181令牌每秒的聚合吞吐量。
@Oluwaphilemon1：在单张 24GB 显存的 RTX 3090 上，Qwen3.8-27B 从 82 tokens/sec 提升到 381 tokens/sec。同一张显卡，同一个模型，推理速度提升近 4.6 倍
一位开发者通过 MTP、DFlash2 投机解码、上下文查找和前缀缓存，在单张 RTX 3090 上将 Qwen3.8-27B 的吞吐量从 82 提升到 381 tokens/sec，无需升级硬件。日常聊天场景的性能约为 133 tokens/sec，说明峰值数据主要来自高度可复用的工作负载。
@onusoz: 16路并行 Gemma-4-26B-A4B-NVFP4 运行，每路18输出 token/s，合计300 tok/s 一台配备128GB统一内存的DGX Spark…
@onusoz 展示了在单一 DGX Spark（128GB统一内存）上运行16个并行实例的 NVIDIA 量化版 Gemma-4-26B-A4B-NVFP4 模型，合计达到300 tok/s，展示高并发能力且未使用 flashinfer。
40+ token/秒 - 在单台 DGX Spark 上使用 vLLM 运行 Qwen 3.5 122B Int4 的优化方案
用户分享了一种在单台 DGX Spark 上使用 vLLM 运行 Qwen 3.5 122B Int4 的优化方案，实现了每秒超过 40 个 token 的速度。他们邀请其他人尝试并进一步优化。
@rohanpaul_ai: Qwen 3.6 27B 在 MacBook Pro M5 Max 64GB 上达到每秒34个token，本地使用 atomic[.]chat，接受率达90%，即……
Qwen 3.6 27B 在 MacBook Pro M5 Max 64GB 上本地运行，实现每秒34个token，草稿接受率达90%，通过 TurboQuant、GGUF 和 llama.cpp 实现，展示了笔记本AI推理的重大进步。