@TeksEdge: 一个密集的27B Qwen3.8模型被压缩到10GB以下。可适配RTX 5070 12GB。ZeroDigest发布了新的YMQ架构感知GGUFs f…
摘要
ZeroDigest已为Qwen3.8-27B模型发布了新的YMQ架构感知GGUFs,使其能够压缩到10GB以下并在12GB GPU如RTX 5070上运行。
查看缓存全文
缓存时间: 2026/08/27 23:41
Qwen3.8-27B密集模型被压缩至10GB以下,可装入RTX 5070 12GB显卡。
ZeroDigest发布了针对Qwen3.8-27B-Uncensored的新型YMQ架构感知GGUF量化模型。
该技术不再对所有张量采用统一量化方式,而是根据模型不同部分的敏感度动态混合精度。
测试结果显示该模型性能:
Qwen3.8-27B密集模型量化效果:
XXS-Pro版本:约9.3GB
XXS版本:约9.8GB
XS-Pro版本:约11GB
S-Pro版本:约12.5GB
M版本:约14GB
保留MTP注意力机制
兼容llama.cpp推理框架
遵循Apache 2.0开源协议
作为对比,传统Q4_K_M量化方案体积约为16.5GB。
这意味着12GB显存的GPU有望运行密集的27B参数模型。
这种架构感知混合精度量化技术,是否正在取代传统选择Q3/Q4/Q5量化等级的思路?
注意事项 目前公开的质量评估仍主要依赖困惑度指标。在断言亚10GB版本等同于常规Q4量化前,我更希望看到实际编码、推理和智能体测试的基准数据。
但能将27B密集模型与MTP机制压缩至9-14GB,确实是一项了不起的突破!
GitHub项目地址:/zerodigest/Qwen3.8-27B-Uncensored-YMQ-MTP-GGUF
相似文章
@TeksEdge: Unsloth 发布了目前我测试过的最快的 Qwen3.6-27B MTP GGUF。是时候升级了。与之前的 GGUF 相比,Q4/Q6 XL 版本的推理速度快了约 55%…
Unsloth 发布了优化后的 Qwen3.6-27B MTP 模型 GGUF 版本,与前序量化版本相比,推理速度显著提升(在 RTX 5090 上最高可达 114 tok/s)。
我们量化了 Qwen 3.8 27B 并在 RTX 6000 上比较了量化版本
团队将 Qwen 3.8 27B 量化为多种 GGUF 格式,并在 RTX 6000 上进行了基准测试,发现不同量化版本性能相似,推荐 AD-Q6_K 以保证安全性。
@seclink: 这家伙刚刚在一块单张 3090 显卡上,跑出了 Qwen 3.5-27B Dense 模型 134 tok/s 的速度,以及新版 Qwen 3.6-27B 模型 73 tok/s 的速度。2026 年的开源社区,其发展速度简直如神速一般。…
A single RTX 3090 achieves 134 tok/s on the new 27B Qwen 3.5 Dense and 73 tok/s on Qwen 3.6-27B using fused kernels and speculative decoding, with same-day GGUF releases.
@DeepTechTR: Qwen 3.6 27B 在16 GB VRAM下速度极快!Pure Quant技术带来的影响——27B模型流畅运行的时代已来临……
Qwen 3.6 27B 在16 GB VRAM上运行快速,得益于'Pure Quant'技术,通过MTP达到40 tokens/s,并支持64k上下文,使得本地AI能在RTX 4060 Ti等消费级GPU上运行。
Qwen3.6 27B Pure Quant: 16 GB 显存下 40 tok/s
使用纯 Q4_K_M 方法对 Qwen3.6 27B 进行量化的版本完全适配 16 GB 显存,在 MTP 下可实现高达 40 tok/s 的 token 生成速度,相比其他 GGUF 变体显著缩小模型体积。