对于拥有12GB GPU的用户，现在可以通过新的Ternary版本运行QWEN 3.6 27B，损失很小。
摘要
Qwen3.6 27B的新三元量化版本，名为Bonsai 27B，可以在12GB GPU上运行，内存需求减少10倍，性能达到原版的95%，使其适用于本地部署。
PrismML推出的全新Bonsai 27B模型基于Qwen3.6 27B，这款备受喜爱的模型经过升级，现在可以在本地计算机上运行。内存需求减少10倍，文件体积大幅缩小，同时基准测试仍能达到原FP16模型95%的性能。当然，没有模型是完美的，但如果你一直想运行Qwen3.6 27B却没有足够的计算资源或余量，现在终于可以实现了。Ternary格式更智能，但需要更多算力。Binary模型则足以适配手机形态。想象一下，27B模型，哪怕只是近似，装进口袋——这已成为现实。这不是我的视频，但这里有一个部署教程。
相似文章
Prism-ML Bonsai Qwen 3.6 27B
Prism ML 发布了 Ternary-Bonsai-27B，这是 Qwen3.6-27B 的三元量化版本，在约 7.2 GB 的占用下保留了 FP16 智能的 95%，能够在笔记本电脑和单 GPU 上实现完整的 27B 级推理，在 Apple M5 Pro 上速度可达 26 tok/s。
在 8GB 显存和 32GB 内存上运行 Qwen3.6 35b a3b，~190k 上下文
作者分享了一种高性能的本地推理配置，使用支持 TurboQuant 的修改版 llama.cpp，在硬件受限（8GB 显存、32GB 内存）的情况下运行 Qwen3.6 35B A3B，实现了 ~37-51 tok/sec 的生成速度，并支持 ~190k 上下文。
@DeepTechTR: Qwen 3.6 27B 在16 GB VRAM下速度极快！Pure Quant技术带来的影响——27B模型流畅运行的时代已来临……
Qwen 3.6 27B 在16 GB VRAM上运行快速，得益于'Pure Quant'技术，通过MTP达到40 tokens/s，并支持64k上下文，使得本地AI能在RTX 4060 Ti等消费级GPU上运行。
三元 Qwen3.6 27B 在 3090 上测试！
用户在 RTX 3090 上测试了三元量化版本的 Qwen3.6 27B，使用两个槽位和 100k KV 缓存，占用 21GB 显存，达到了 60 tk/s 的速度，质量良好且工具调用稳定。
Qwen 3.6 27B 简直是个猛兽
有开发者实测，新的 27B Qwen 3.6 模型在 24GB 显存笔记本上跑得飞起，所有 PySpark/Python 数据转换基准全部通过，再也不用买云算力订阅了。