三元 Qwen3.6 27B 在 3090 上测试！
摘要
用户在 RTX 3090 上测试了三元量化版本的 Qwen3.6 27B，使用两个槽位和 100k KV 缓存，占用 21GB 显存，达到了 60 tk/s 的速度，质量良好且工具调用稳定。
我现在可以用两个槽位运行 60 tk/s，质量看起来不错，工具调用非常稳定。我还没做任何编码。两个槽位各分配了 100k KV 缓存，占用约 21GB 显存。
相似文章
Wow！Qwen 3.6:35b-a3b 在 3090 上……太惊人了。
一位用户分享了在二手 RTX 3090 上运行量化版 Qwen 3.6:35b-a3b 模型的惊人结果：将模型放入显存后，输出速度达到每秒 160 个 token，并以 75 秒的视频处理时间展示了视觉能力。
Qwen 3.6 27B 投机解码基准测试：单张 RTX 3090 上实现 ~100 TPS
一份详细的基准测试，比较了单张 RTX 3090 上 Qwen 3.6 27B 的投机解码引擎，显示 ik_llama 在代码生成中达到约每秒 100 个 token。结果包括 5 种引擎变体的解码 TPS、TTFT、显存占用和上下文退化情况。
@DeepTechTR: Qwen 3.6 27B 在16 GB VRAM下速度极快！Pure Quant技术带来的影响——27B模型流畅运行的时代已来临……
Qwen 3.6 27B 在16 GB VRAM上运行快速，得益于'Pure Quant'技术，通过MTP达到40 tokens/s，并支持64k上下文，使得本地AI能在RTX 4060 Ti等消费级GPU上运行。
我们量化了 Qwen 3.8 27B 并在 RTX 6000 上比较了量化版本
团队将 Qwen 3.8 27B 量化为多种 GGUF 格式，并在 RTX 6000 上进行了基准测试，发现不同量化版本性能相似，推荐 AD-Q6_K 以保证安全性。
@TheAhmadOsman: 顺便说一下，Qwen 3.8 27B 的 NVFP4 版本可以在单个 RTX 5090 上运行。
Qwen 3.8 27B 模型已推出 NVFP4 量化版本，使其能在单个 RTX 5090 GPU 上运行，并在编码、智能任务和视觉语言理解方面有所增强。