@TeksEdge: 一个密集的27B Qwen3.8模型被压缩到10GB以下。可适配RTX 5070 12GB。ZeroDigest发布了新的YMQ架构感知GGUFs f…

X AI KOLs Timeline 新闻

摘要

ZeroDigest已为Qwen3.8-27B模型发布了新的YMQ架构感知GGUFs,使其能够压缩到10GB以下并在12GB GPU如RTX 5070上运行。

一个密集的27B Qwen3.8模型被压缩到10GB以下。可适配RTX 5070 12GB。 ZeroDigest发布了新的YMQ架构感知GGUFs,用于Qwen3.8-27B-Uncensored。 与对每个张量采用相同量化方式不同,YMQ根据模型各部分的敏感度混合使用不同精度。 结果如下,该模型... Qwen3.8-27B 密集 XXS-Pro: ~9.3GB XXS: ~9.8GB XS-Pro: ~11GB S-Pro: ~12.5GB M: ~14GB MTP 保留 llama.cpp Apache 2.0 作为比较,传统的Q4_K_M大约是16.5GB。 所以这可能让一个密集的27B模型运行在12GB GPU上。 架构感知混合精度量化是否开始取代简单地选择Q3、Q4或Q5的旧观念? 一如既往,注意事项 发布的质量证据主要还是困惑度。在宣称亚10GB版本等同于普通Q4之前,我更希望看到实际的编码、推理和代理基准测试。 但将27B密集模型+ MTP压缩到约9-14GB是非常酷的! GH /zerodigest/Qwen3.8-27B-Uncensored-YMQ-MTP-GGUF
查看原文
查看缓存全文

缓存时间: 2026/08/27 23:41

Qwen3.8-27B密集模型被压缩至10GB以下,可装入RTX 5070 12GB显卡。

ZeroDigest发布了针对Qwen3.8-27B-Uncensored的新型YMQ架构感知GGUF量化模型。

该技术不再对所有张量采用统一量化方式,而是根据模型不同部分的敏感度动态混合精度。

测试结果显示该模型性能: Qwen3.8-27B密集模型量化效果: XXS-Pro版本:约9.3GB
XXS版本:约9.8GB
XS-Pro版本:约11GB
S-Pro版本:约12.5GB
M版本:约14GB
保留MTP注意力机制
兼容llama.cpp推理框架
遵循Apache 2.0开源协议

作为对比,传统Q4_K_M量化方案体积约为16.5GB。

这意味着12GB显存的GPU有望运行密集的27B参数模型。

这种架构感知混合精度量化技术,是否正在取代传统选择Q3/Q4/Q5量化等级的思路?

注意事项 目前公开的质量评估仍主要依赖困惑度指标。在断言亚10GB版本等同于常规Q4量化前,我更希望看到实际编码、推理和智能体测试的基准数据。

但能将27B密集模型与MTP机制压缩至9-14GB,确实是一项了不起的突破!

GitHub项目地址:/zerodigest/Qwen3.8-27B-Uncensored-YMQ-MTP-GGUF

相似文章

Qwen3.6 27B Pure Quant: 16 GB 显存下 40 tok/s

Reddit r/LocalLLaMA

使用纯 Q4_K_M 方法对 Qwen3.6 27B 进行量化的版本完全适配 16 GB 显存,在 MTP 下可实现高达 40 tok/s 的 token 生成速度,相比其他 GGUF 变体显著缩小模型体积。