可能是 Qwen3.8 27B 最高质量的主线量化版本?
摘要
发布了 Qwen 3.8 27B AI 模型的高质量量化版本,声称在质量测试中超越了 ISTA 和 Unsloth 量化版本。
我自豪地发布 Qwen 3.8 27B 的这些量化版本。它们在三个语料库上逐字节击败了优秀的 ISTA 和 Unsloth 量化版本。KLD 和 top 1% 均被测试了 3 次。生成这些版本花费了一周连续的 GPU 和 CPU 时间,全部在一台 Strix Halo 上完成。https://huggingface.co/agentionai/Qwen3.8-27B-AP-GGUF 希望您喜欢。
相似文章
我们量化了 Qwen 3.8 27B 并在 RTX 6000 上比较了量化版本
团队将 Qwen 3.8 27B 量化为多种 GGUF 格式,并在 RTX 6000 上进行了基准测试,发现不同量化版本性能相似,推荐 AD-Q6_K 以保证安全性。
Qwen 3.8 27b 即使在 Q3_xxs 下也很强大
用户发现 Qwen 3.8 27b 在 Q3 量化下对编码任务非常高效,推理速度快,超越了之前的模型,尽管在日常对话中存在一些小问题。
本地运行 Qwen3.8 27B:来自我的 Mac Studio 的实测数据
本文提供了在 Mac Studio 上本地运行 Qwen3.8 27B AI 模型的实际性能基准测试,将其与前代模型进行比较,并讨论了硬件要求和量化效果。
Qwen 3.8 27B 在 RTX 3060 上使用约 3 BPW:GSQ 与 ByteShape IQ3-XXS 2.88BPW 的比较
本文比较了在 RTX 3060 上对 Qwen 3.8 27B 模型进行 GSQ 和 ByteShape 量化的结果,揭示了尽管 ByteShape 量化声称与原始模型高度相似,但其性能却表现不佳。
Qwen3.6-27B 推测解码在更大量化下性能提升
Qwen3.6-27B 模型在使用更大量化级别时,推测解码性能提升,推理效率增强。