在 RTX Pro 6000 上使用 Ninfer 对 Qwen3.6 35ba3b 进行单请求达到 600 tokens/s。还记得 Comcast 的广告 "stupid fast" 吗？
摘要
在 RTX Pro 6000 上使用 Ninfer 在 Qwen3.6 模型上达到每秒600 tokens，尽管不是最先进的模型，但适用于暴力任务。
虽然不是最聪明的，但它是我的新苦工模型，用于阅读+查找或编码任务，我愿意让它暴力执行。即使令牌数量是20倍，这仍然比许多本地模型更快。虽然不及 Cerebras，但使用起来还是挺有趣的。
相似文章
双RTX 4060 Ti上Qwen3.6 q4xl达到125 tok/s，性价比惊人
有用户报告称，在两张RTX 4060 Ti显卡上运行Qwen3.6 q4xl达到了每秒125个token，强调性价比出色，并想知道进一步优化是否能达到150 tok/s。
在单张 AMD Radeon R9700 上运行 Qwen3.8 27b NVFP4 达 153 tok/s，8 并发请求下 470 tok/s，预填充速度 3,619 tok/s
优化了在单张 AMD Radeon R9700 GPU 上运行 Qwen3.8 27b NVFP4 模型的性能，解码速度高达每秒 153 个令牌，预填充速度达每秒 3,619 个令牌，并提升了并发性能。
Nifer 太疯狂了。在 Qwen 3.6 35B 上实现每秒 700 个 token（无思考模式）。专为 RTX 5090 打造。同时支持完整的 25 万上下文。
Nifer 是一款工具，能够在 Qwen 3.6 35B 上实现每秒 700 个 token 的推理（无思考模式），专为 RTX 5090 优化，并支持完整的 25 万上下文。
Qwen3.6 27B 在 RTX 5090 上，调整 MTP/缓存设置后的 6.4k 采样 token/s 分布
在 RTX 5090 上运行 Qwen3.6 27B，调整 MTP 和缓存设置后达到每秒 6.4k 个 token，展示了推理优化技术。
Qwen3.8-27B在24GB RTX PRO 4000 SFF上以256K上下文运行（432 GB/s带宽）：通过MTP实现每秒50个token
本文详细描述了一项实验，该实验在24GB GPU上使用多token预测和自定义优化，实现了Qwen3.8-27B在256K上下文下每秒50个token的推理速度。