@BlackRainLabs: 使用TurboQuant，我能在GTX1060 3GB上以20 tokens/秒运行qwen 3.6 35b MoE。对于这么小又老的显卡来说，简直疯狂。…

X AI KOLs Following 工具
quantization turboquant qwen mixture-of-experts edge-inference performance gpu

摘要

使用TurboQuant，用户在GTX1060 3GB上以20 tokens/秒运行Qwen 3.6 35B MoE模型，展现了在陈旧硬件上令人印象深刻的性能。

@no_stp_on_snek 使用TurboQuant，我能在GTX1060 3GB上以20 tokens/秒运行qwen 3.6 35b MoE。对于这么小又老的显卡来说，简直疯狂。我还想再优化一下。
查看原文
查看缓存全文

缓存时间: 2026/06/23 03:44

@no_stp_on_snek 使用 TurboQuant，我能在 GTX1060 3GB 上让 qwen 3.6 35b MoE 跑到 20 tk/s。对于这样一块小巧老旧显卡来说，简直不可思议。我还想再压榨出一点性能。

相似文章

@Oluwaphilemon1：在单张 24GB 显存的 RTX 3090 上，Qwen3.8-27B 从 82 tokens/sec 提升到 381 tokens/sec。同一张显卡，同一个模型，推理速度提升近 4.6 倍

X AI KOLs Timeline

一位开发者通过 MTP、DFlash2 投机解码、上下文查找和前缀缓存，在单张 RTX 3090 上将 Qwen3.8-27B 的吞吐量从 82 提升到 381 tokens/sec，无需升级硬件。日常聊天场景的性能约为 133 tokens/sec，说明峰值数据主要来自高度可复用的工作负载。

Qwen 30B MoE - 30tps - 6GB显存 - 搞定！

Reddit r/LocalLLaMA

一位用户分享了在RTX 3050 6GB上成功运行Qwen 30B MoE的经验，支持90k上下文，速度达到每秒30-35个token，庆祝低端硬件的出色表现。