club-3090 / qengine / RedHatAI/Qwen3.8-27B-INT4

Reddit r/LocalLLaMA 模型
quantization int4 local-inference llm qwen benchmark

摘要

一位用户报告称，在双 RTX 3090 显卡上使用 QEngine 运行量化的 RedHatAI/Qwen3.8-27B-INT4 模型，速度明显快于此前使用 FP8 的 vLLM 配置，并分享了配置和模型仓库的链接。

这个东西 https://github.com/noonghunna/club-3090/blob/master/models/qwen3.8-27b/qengine/compose/dual/redhat-int4/mtp.yml https://github.com/bpx03/QEngine https://huggingface.co/RedHatAI/Qwen3.8-27B-INT4#accuracy 我用的是两张 3090，平时一直用双卡 vLLM 跑 qwen3.8-27b fp8。几个哥们儿在聊本地 AI，我就想着试试另一套预设。卧槽，这比 fp8 快太多了！（当然，快也是意料之中）但它比我记忆中 qwen3.8-27b 刚出来时试过的那个 int4 还要快得多。你们有人上手试过这个吗？ https://preview.redd.it/nnns4wsq6fyh1.png?width=913&format=png&auto=webp&s=db487304d8d7b3e1fd1dc0c62173793e6050f033
查看原文

相似文章

在 RTX 3060 + 5060 Ti 上成功运行 Qwen 3.8 27B EXL3

Reddit r/LocalLLaMA

一名用户成功运行了 Qwen 3.8 27B AI 模型在 RTX 3060 和 5060 Ti GPU 的混合设置上，使用 exllamav3 的张量并行技术，在启用 MTP 的情况下达到约每秒 50 个令牌的速度。

Wow！Qwen 3.6:35b-a3b 在 3090 上……太惊人了。

Reddit r/artificial

一位用户分享了在二手 RTX 3090 上运行量化版 Qwen 3.6:35b-a3b 模型的惊人结果：将模型放入显存后，输出速度达到每秒 160 个 token，并以 75 秒的视频处理时间展示了视觉能力。