Ternary Bonsai 2 (27B) 刚刚在 Hugging Face 发布。其大小小于 6GB，甚至可以在浏览器本地通过 WebGPU 运行。
摘要
Ternary Bonsai 2 是基于 Qwen3.8-27B 的 27B 参数模型，采用三元权重，将模型大小压缩至 6GB 以下，同时保留 98.2% 的智能，使其能够通过 WebGPU 在浏览器中运行。
该模型基于 Qwen3.8-27B，一个 27B 参数的混合注意力因果语言模型（架构未变），但使用三元权重将模型大小缩减至 <6GB。根据模型卡，它比 FP16 小 9 倍，同时保留 98.2% 的智能。- 收藏集：https://huggingface.co/collections/prism-ml/bonsai-2 - 演示：https://huggingface.co/spaces/webml-community/ternary-bonsai-2-webgpu-kernels
相似文章
对于拥有12GB GPU的用户，现在可以通过新的Ternary版本运行QWEN 3.6 27B，损失很小。
Qwen3.6 27B的新三元量化版本，名为Bonsai 27B，可以在12GB GPU上运行，内存需求减少10倍，性能达到原版的95%，使其适用于本地部署。
Prism-ML Bonsai Qwen 3.6 27B
Prism ML 发布了 Ternary-Bonsai-27B，这是 Qwen3.6-27B 的三元量化版本，在约 7.2 GB 的占用下保留了 FP16 智能的 95%，能够在笔记本电脑和单 GPU 上实现完整的 27B 级推理，在 Apple M5 Pro 上速度可达 26 tok/s。
prism-ml/Ternary-Bonsai-2-27B-gguf
发布 Ternary-Bonsai-2-27B-gguf，一款 27B 参数的语言模型，采用三元权重实现极端压缩（5.9 GB），同时保留 98.2% 的 FP16 精度性能，并针对笔记本电脑和单 GPU 的高效推理进行优化。
@HuggingModels: 认识一下 Ternary-Bonsai-2-27B：一个将270亿参数模型压缩到2位三元格式的模型。在llama.cpp上运行，支持CUDA和Metal。
Ternary-Bonsai-2-27B是一个将270亿参数AI模型压缩到2位三元格式的模型，在llama.cpp上运行，支持CUDA和Metal，有助于实现轻量级的设备端AI部署。
基于 Qwen 3.5 的 Ternary Bonsai 2 系列：2B、4B 与 9B
PrismML 推出基于 Qwen3.5 的 Ternary Bonsai 2 系列新模型 2B、4B 和 9B，采用 {−1, 0, +1} 三值权重表示，内存占用比全精度模型小 9 倍以上，并在吞吐与能效上最高提升 5 倍和 3 倍，面向手机、电脑和可穿戴设备上的本地智能体场景。