club-3090 为 Qwen3.6-27B 添加实验性 FP8 支持！
摘要
club-3090 为 Qwen3.6-27B 添加了实验性 FP8 支持，使得配备双 RTX 3090 的机器能够以与未量化 BF16 相似的性能运行该模型。
终于来了！我们许多使用双 RTX 3090 机器的人一直在期待。club-3090 推出了对 **Qwen3.6-27B** 的实验性支持，采用 **FP8 量化**。官方 Qwen/Qwen3.6-27B-FP8 模型的性能几乎与原始的未量化 BF16 相同。[https://github.com/noonghunna/club-3090/blob/master/models/qwen3.6-27b/vllm/compose/dual/fp8/mtp.yml](https://github.com/noonghunna/club-3090/blob/master/models/qwen3.6-27b/vllm/compose/dual/fp8/mtp.yml)
相似文章
三元 Qwen3.6 27B 在 3090 上测试！
用户在 RTX 3090 上测试了三元量化版本的 Qwen3.6 27B，使用两个槽位和 100k KV 缓存，占用 21GB 显存，达到了 60 tk/s 的速度，质量良好且工具调用稳定。
@TheAhmadOsman: 顺便说一下，Qwen 3.8 27B 的 NVFP4 版本可以在单个 RTX 5090 上运行。
Qwen 3.8 27B 模型已推出 NVFP4 量化版本，使其能在单个 RTX 5090 GPU 上运行，并在编码、智能任务和视觉语言理解方面有所增强。
@superalesha: 别急着埋葬RTX 3090，先读完这个！@UnslothAI本周发布了qwen3.6-35b的两个新4位量化版本。我花了…
对Qwen3.6-35B在RTX 3090上的nvfp4、nvfp4-fast和AWQ 4位量化进行了基准测试，结果显示性能相近，而MTP头技巧将吞吐量提升了41%。
club-5060ti 更新：测试过的 RTX 5060 Ti 预设、高上下文测试环境与 Qwen3.8 27B
RTX 5060 Ti 本地大语言模型仓库已更新，包含经过测试、可复制的预设和一个新的高上下文测试环境，为 Qwen3.8 27B 等模型在单 GPU 和双 GPU 设置上提供已验证的配置和基准测试结果。
Wow！Qwen 3.6:35b-a3b 在 3090 上……太惊人了。
一位用户分享了在二手 RTX 3090 上运行量化版 Qwen 3.6:35b-a3b 模型的惊人结果：将模型放入显存后，输出速度达到每秒 160 个 token，并以 75 秒的视频处理时间展示了视觉能力。