Qwen 27B

Reddit r/LocalLLaMA 模型
qwen local-model large-language-model multi-token-prediction performance hardware

摘要

一位用户报告称，在q6kxl量化与多token预测下，Qwen 27B在4090+3090系统上使用LCPP实现了50-90 token/s的解码速度和1500-2200 token/s的预填充速度，并指出它在各种编码任务中表现稳定、快速且连贯。

只是一个我想分享的数据点。 Qwen 27b，在q6kxl量化、多token预测下，使用LCPP，运行在4090+3090系统上，输出50-90 token/s的解码速度和1500-2200 token/s的预填充速度。无论使用何种框架，只要我能将其链接到文档，它都能可靠地与我要求它使用的每个API进行交互。它能生成可用的代码，从单页应用、LaTeX文档、解析器、爬虫等等，而对我而言最重要的是，它能可靠地摄取一个相当规模的代码库，并在更新时保持现有架构。总的来说，我想强调的是，这是我在我那96GB显存系统上使用过的第一个本地模型，它可靠、连贯、快速，并且没有让我陷入调优工具、技能、框架等额外任务的泥潭。
查看原文

相似文章

Qwen3.5-122B-Q5-MTP - Qwen3.5-122B-Q6-MTP

Reddit r/LocalLLaMA

在Strix Halo上使用llama.cpp进行多token预测的Qwen3.5-122B Q5和Q6量化模型的基准对比，吞吐量分别为20.24 t/s和17.17 t/s。