prism-ml/Ternary-Bonsai-27B-gguf · Hugging Face

来源：https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf Bonsai

Prism ML 网站 (https://prismml.com/)|白皮书 (https://github.com/PrismML-Eng/Bonsai-demo)|演示与示例 (https://github.com/PrismML-Eng/Bonsai-demo)|Discord (https://discord.gg/prismml)

完整 27B 级推理能力，采用三进制变压器权重，适用于 llama.cpp（CUDA、Metal、CPU）

约 9.4 倍小于 FP16（理想情况）|保留 FP16 智能水平的 95% |在 Apple M5 Pro 笔记本上约 26 tok/s

https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf#highlights亮点

• 部署占用约 7.2 GB（从 FP16 的约 54 GB 降至）—— 在标准笔记本或单 GPU 上实现完整 27B 级推理
• 保留 FP16 智能水平的 95%：在 15 个思考模式基准测试中平均 80.49 分——高于传统 IQ2_XXS 构建（72.73 分），而占用空间不到其三分之二
• 在低于 4 比特的深度范围内保留思考、推理和智能体行为，而传统低位表示在此范围内会崩溃：数学与全精度相差不到 2 个点（93.40），编码 85.96，智能体工具调用 74.01
• 端到端三进制语言权重覆盖嵌入层、注意力投影、MLP 投影和 LM 头部，真实每权重 1.71 比特——没有低位标签后的高精度后门；视觉塔采用紧凑的 4 比特 HQQ
• 设备上 262K 令牌上下文，得益于 Qwen3.6-27B 混合注意力骨干网（约 75% 线性注意力）和 4 比特 KV 缓存量化，保持实用
• GGUF Q2_0_g128 格式，带有用于 llama.cpp（CUDA、Metal）的自定义 2 比特混合注意力内核——打包的权重直接使用，从不扩展回 FP16
• 附带 DSpark 投机解码起草层，针对 Bonsai 27B 目标进行训练——在 CUDA 服务路径上实现无损1.34 倍解码加速
• MLX 伴侣：也可作为Ternary-Bonsai-27B-mlx-2bit (https://huggingface.co/prism-ml/Ternary-Bonsai-27B-mlx-2bit)用于原生 Apple Silicon 推理
• 1 比特伴侣：手机级运行点（约 3.9 GB），可放入 iPhone 17 Pro Max，以 GGUF 格式发布为Bonsai-27B-gguf (https://huggingface.co/prism-ml/Bonsai-27B-gguf)

https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf#resources资源

• 白皮书 (https://github.com/PrismML-Eng/Bonsai-demo/blob/main/bonsai-27b-whitepaper.pdf)——完整方法论、基准测试和测量注释
• 演示与示例 (https://github.com/PrismML-Eng/Bonsai-demo)——服务、基准测试和集成 Bonsai
• 低位内核：llama.cpp 分支 (https://github.com/PrismML-Eng/llama.cpp)（CUDA + Metal）·MLX 分支 (https://github.com/PrismML-Eng/mlx)（Apple Silicon）·mlx-swift 分支 (https://github.com/PrismML-Eng/mlx-swift)（iOS/macOS）
• Discord (https://discord.gg/prismml)——加入社区获取支持、讨论和更新

https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf#model-overview模型概述

项目规格基础模型衍生自 Qwen3.6-27B，一个 27B 混合注意力因果语言模型（架构不变）参数约 27.3B 三进制语言权重（约 24.8B 骨干网，横跨 64 个块 + 约 2.5B 嵌入/LM 头部）+ 约 0.46B 视觉塔（27 个块）架构混合注意力（约 75% 线性 / 约 25% 全注意力），SwiGLU MLP，RoPE，RMSNorm上下文长度262K 令牌（设备上支持完整上下文，得益于主要线性注意力骨干网）KV 缓存近无损 4 比特 KV 量化；混合骨干网仅在 16/64 层上增长全注意力缓存（在 262K 完整窗口下约 4.3 GB）权重格式GGUF Q2_0_g128：{−1, 0, +1} 权重，2 比特槽位，带有 FP16 组级缩放低位覆盖嵌入层、注意力投影、MLP 投影、LM 头部视觉塔HQQ 4 比特；可选的约 0.63 GB mmproj 包（Q8_0 容器），仅在图像输入时加载部署大小约 7.2 GB（理想情况下每权重 1.71 比特时为 5.9 GB；见下文）加速提供 DSpark 投机解码起草层后端llama.cpp（CUDA、Metal、CPU）许可证Apache 2.0

https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf#weight-representation-q2_0_g128权重表示：Q2_0_g128

每个权重取 {−1, 0, +1} 中的一个值，每组 128 个权重共享一个 FP16 缩放因子。三进制值携带 log₂3 ≈ 1.585 比特信息，因此有效存储成本为约每权重 1.71 比特（三进制码 + 16 位缩放分摊到 128 个权重）—— 相比于 FP16 理想化约 9.4 倍压缩。

相对于二进制格式，额外的零状态提供了更丰富的权重字母表，并恢复了更多全精度模型的行为，这使得三进制成为 Bonsai 27B 系列的质量导向运行点。

https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf#memory-requirement内存需求

格式真实每权重比特数理想大小部署大小压缩比（理想）FP16（基线）16.0约 54 GB—1.0 倍GGUF Q2_0_g1281.715.9 GB约 7.2 GB约 9.4 倍 当今的内核将每个三进制值存储在一个 2 比特槽位中（部署后每权重 2.125 比特），因此部署占用高于表示的信息论最小值，直到原生三进制内核缩小差距。部署数据仅描述语言模型本身——这是文本推理必须常驻的唯一组件；归一化和缩放参数的微小尾部仍以更高精度存在。

与传统低位构建不同——其宣传标签低估了真实平均比特宽度（广泛使用的 Qwen3.6-27B “2 比特” 构建实际为每权重 2.8 比特，9.4 GB）——Bonsai 表示的比特宽度与其名称相符。

https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf#shipped-components附送组件

除语言模型外，还附送两个可选组件（磁盘大小）：

组件包装大小常驻性语言模型2 比特 g128 槽位（Q2_0）7.17 GB常驻DSpark 起草器Q4_1（默认）1.95 GB可选——投机解码DSpark 起草器bf16（参考）7.29 GB可选视觉塔mmproj HQQ 4 比特（Q8_0 容器）0.63 GB可选——仅多模态输入视觉塔mmproj BF16（参考）0.93 GB可选 视觉塔通常被卸载：它位于加速器的常驻预算之外，仅在实际接收图像时加载，因此纯文本服务从不为其付费。还发布了一个按 64 值组打包的三进制包（7.59 GB），匹配 llama.cpp 中的 64 值组 Q2_0 打包——同一原生 g128 表示，每个缩放因子在每 64 值块中重复。

https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf#peak-memory-at-context上下文时的峰值内存

设备实际必须容纳的是峰值内存——权重加上 KV 缓存加上激活和运行时缓冲区（各后端约 1.3 GB）。实测，仅语言模型，无 KV 缓存压缩（大小以十进制 GB 为单位；Q4_K_XL 行由其权重占用加上相同的缓存和开销累积量推导得出，所有其他行直接测量）：

构建权重4K 上下文10K 上下文100K 上下文Ternary Bonsai (llama.cpp Q2_0)7.158.48.714.7Qwen3.6-27B “4 比特” (Q4_K_XL)17.619.219.625.627B 16 比特 (GGUF bf16)51.252.653.359.3 三进制构建在100K 令牌上下文下仅需 14.7 GB，无需任何 KV 缓存压缩——这一预算已能直接适应主流笔记本；传统的 Q4_K_XL 构建在加载第一个长文档前就需要约 25.6 GB。这些峰值是保守情况，缓存保持 FP16。启用 4 比特 KV 缓存可将上下文相关项缩小约 4 倍：100K 峰值降至约 10.1 GB，完整 262K 窗口的峰值内存约 12.8 GB。

https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf#best-practices最佳实践

https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf#generation-parameters生成参数

参数建议值温度0.7Top-p0.95Top-k20 这些是所有报告基准测试结果（思考模式）所使用的设置。

https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf#system-prompt系统提示

您可以使用简单的系统提示，例如：

You are a helpful assistant

https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf#quickstart快速入门

https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf#llamacpp-cudallama.cpp (CUDA)

``

克隆 PrismML 的 llama.cpp 分支（包含 Q2_0_g128 混合注意力内核）

git clone https://github.com/PrismML-Eng/llama.cpp cd llama.cpp

构建 CUDA 支持

cmake -B build -DGGML_CUDA=ON && cmake –build build -j

下载 2 比特 GGUF 权重

hf download prism-ml/Ternary-Bonsai-27B-gguf Ternary-Bonsai-27B-Q2_0.gguf –local-dir .

运行推理

./build/bin/llama-cli
-m Ternary-Bonsai-27B-Q2_0.gguf
-p “用简单的话解释量子计算。”
-n 256
–temp 0.7 –top-p 0.95 –top-k 20
-ngl 99 ``

https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf#llamacpp-metal–macosllama.cpp (Metal / macOS)

``

构建 Metal 支持（macOS 默认）

cmake -B build && cmake –build build -j

运行推理

./build/bin/llama-cli
-m Ternary-Bonsai-27B-Q2_0.gguf
-p “用简单的话解释量子计算。”
-n 256
–temp 0.7 –top-p 0.95 –top-k 20
-ngl 99 ``

https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf#llamacpp-serverllama.cpp 服务器

./build/bin/llama-server \ -m Ternary-Bonsai-27B-Q2_0.gguf \ --host 0.0.0.0 --port 8080 -ngl 99

打开 Web 界面http://127.0.0.1:8080/，或查看我们的llama.cpp 分支 (https://github.com/PrismML-Eng/llama.cpp)获取更多示例。

**部署到手机？**三进制构建（约 7.2 GB）超出 iOS 约 6 GB 的单应用内存预算，仅适用于笔记本/GPU。请使用 1 比特伴侣（约 3.9 GB），它通过MLX Swift (https://huggingface.co/prism-ml/Bonsai-27B-mlx-1bit) 适配 iPhone 17 Pro Max。

https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf#cross-platform-throughput跨平台吞吐量

tg128是 128 个生成令牌上的令牌生成吞吐量（内存带宽受限的交互阶段）；pp512是 512 个输入令牌上的提示处理吞吐量（计算受限阶段）。两者单位均为 tok/s，通过llama-bench在此 GGUF 包（自定义低位内核）上测量。

平台占用TG128 (tok/s)PP512 (tok/s)笔记本 (Apple M5 Max, Metal)7.2 GB44.0830笔记本 (Apple M5 Pro, Metal)7.2 GB26.2393笔记本 (Apple M4 Pro, Metal)7.2 GB18.0125单 GPU (H100, CUDA)7.2 GB98.02596 在笔记本上，FP16 基线（约 54 GB）甚至传统 “4 比特” 构建（17.6 GB）根本无法放入——有意义的陈述不是加速比，而是 27B 模型可以在日常笔记本上交互运行。实测解码在 M5 Pro 上流式传输约 186 GB/s 的权重，证实了低位表示旨在利用的内存带宽主导特性。H100 行是例外证明规则：在批大小 1 时，数据中心 GPU 受限于内核启动和同步延迟而非权重带宽，因此三进制和二进制变体在此处收敛（98 对比 104.8 tok/s），尽管它们每步的字节数相差约 1.9 倍。

https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf#speculative-decoding-dspark投机解码：DSpark

Ternary Bonsai 27B 附带一个DSpark起草层，针对低位目标训练——一个半自回归起草器，带有置信度调度的验证。投机解码是无损的：验证精确保留目标分布，因此接受的令牌与普通生成无法区分。

该起草器是一个紧凑的六层块并行变压器，以来自目标均匀分布的五个层的隐藏状态为条件；其起草器专用权重在服务精度下增加大约0.5 GB（嵌入和输出头与常驻目标共享）。它遵循 DSpark 方案，采用扩散风格的块去噪目标、生存概率加权蒸馏、每源归一化隐藏状态汲取，以及根据服务栈实测验证成本模型选择的草块大小。起草器以 4 比特量化形式发布——约 1.95 GB 的 Q4_1 包是默认的；它起草速度快于 bf16 参考，起草质量基本不变，并且由于验证精确保留目标分布，起草器精度仅影响速度，绝不影响输出质量。

在 CUDA 服务路径上，起草器是实测的净增益——在起草深度 k = 4 时，接受长度 τ ≈ 3.7 转化为 H100 上1.34 倍端到端解码加速（98 → 131.8 tok/s）。在 Apple Silicon 上，批大小 1 的验证过程尚未能摊销，因此设备上默认不启用起草层。

https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf#benchmarks基准测试

在 NVIDIA H100 上使用 EvalScope + vLLM 以相同基础设施、解码和评分进行评估，采用思考模式——即模型完整推理能力得到充分锻炼，传统方法低于 4 比特的崩溃最为明显。涵盖六个技能类别的 15 个基准测试。为提供跨系列上下文，表格还包括 Gemma-4-31B（相同能力层级的模型）及其传统低位构建——低于 4 比特的崩溃是方法特性，而非某个基础模型特性。比特宽度为真实平均值；“vs FP16”相对于 Qwen3.6-27B FP16 参考。

变体真实 bpw占用思考平均vs FP16Qwen3.6-27B FP1616.054 GB85.07100%Qwen3.6-27B Q4_K_XL (“4 比特”)5.217.6 GB84.9999.9%Qwen3.6-27B IQ2_XXS (“2 比特”)2.89.4 GB72.7385.5%Gemma-4-31B FP1616.061.5 GB84.5899.4%Gemma-4-31B QAT (“4 比特”)6.023.3 GB83.4198.0%Gemma-4-31B Q2_K_XL (“2 比特”)3.011.8 GB73.3186.2%**Ternary Bonsai 27B1.715.9 GB80.4994.6%**1 比特 Bonsai 27B1.1253.9 GB76.1189.5% 在 5.9 GB 下，Ternary Bonsai 27B 在两种低于 4 比特的传统构建上高出 7 分以上，而大小仅为其一半到三分之二。

聚合差距也低估了传统构建失败的方式：它们的退化是有选择性的，集中在需要持续推理链的基准测试上。IQ2_XXS 在 AIME26 上降至 57.5，在 LiveCodeBench 上降至 56.4，而在 MMLU-Redux 上仍得 88.93——这正是随意测试会错过崩溃的原因。Ternary Bonsai 精确保持这些基准测试，AIME 保持在 87.5–90.8，LiveCodeBench 保持在 82.8。

https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf#by-skill-category按技能类别

类别基准测试FP16Ternary 27B知识与推理MMLU-Redux, MuSR83.1576.96数学GSM8K, MATH-500, AIME25, AIME2695.3393.40编码HumanEval+, MBPP+, LiveCodeBench88.7485.96指令遵循IFEval, IFBench78.4771.77智能体/工具调用BFCL v3, τ2-Bench80.0074.01视觉MMMU-Pro, OCR Bench v272.6165.19总计 (15 项)85.0780.49 推理骨干网完好无损：数学与全精度相差不到 2 个点（93.40），编码 85.96，三进制模型将其额外占用用于维持最具挑战性的类别——智能体工具调用 74.01 和视觉 65.19——这些是传统低于 4 比特表示最先丢失的行为。

https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf#full-per-benchmark-results完整逐基准测试结果

展开完整逐基准测试结果（思考模式）基准测试FP16Ternary 27BMMLU-Redux93.4288.05MuSR72.8865.87GSM8K95.3096.06MATH-50099.4099.20AIME2593.2990.84AIME2693.3387.50HumanEval+95.1293.90MBPP+83.3381.22LiveCodeBench87.7782.75IFEval88.9185.03IFBench（宽松提示）68