三元 Qwen3.6 27B 在 3090 上测试！

Reddit r/LocalLLaMA 模型
ternary qwen 27b quantization rtx3090 inference performance

摘要

用户在 RTX 3090 上测试了三元量化版本的 Qwen3.6 27B，使用两个槽位和 100k KV 缓存，占用 21GB 显存，达到了 60 tk/s 的速度，质量良好且工具调用稳定。

我现在可以用两个槽位运行 60 tk/s，质量看起来不错，工具调用非常稳定。我还没做任何编码。两个槽位各分配了 100k KV 缓存，占用约 21GB 显存。
查看原文

相似文章

Wow！Qwen 3.6:35b-a3b 在 3090 上……太惊人了。

Reddit r/artificial

一位用户分享了在二手 RTX 3090 上运行量化版 Qwen 3.6:35b-a3b 模型的惊人结果：将模型放入显存后，输出速度达到每秒 160 个 token，并以 75 秒的视频处理时间展示了视觉能力。