Bonsai 27B（1位LLM）：首个能在手机上运行的27B级别模型

# 发布 Bonsai 27B：首款可在手机上运行的 27B 级模型 来源：https://prismml.com/news/bonsai-27b 今天，我们正式发布 Bonsai 27B，该模型基于 Qwen3.6 27B，是 Bonsai 系列的新一代多模态旗舰，也是其能力级别中首款可在手机上运行的模型。 我们之前的发布已经证明，采用 1 比特和三进制权重的模型能够产出具有商业实用价值的语言模型。Bonsai 27B 将这一前沿拓展到了新的能力层级：多步骤推理、结构化工具调用、视觉任务，以及能在多个步骤中保持连贯的计算机使用智能体循环。在此之前，将这一层级的能力部署在本地设备上存在一个现实障碍：一个 27B 模型在 16 位精度下大约占用 54GB，即使采用优秀的 4 位量化构建，也需要 18GB，这对于手机和大多数笔记本电脑来说都太大了。 Bonsai 27B 改变了这一现状。它提供两个版本： **三进制 Bonsai 27B** 采用三进制 {−1, 0, +1} 权重，并配合 FP16 分组缩放，实际有效位宽为每权重 1.71 比特。大小为 5.9 GB，是注重质量的版本：可在日常笔记本电脑上运行，具备完整的推理、工具调用和智能体能力。 **1 比特 Bonsai 27B** 采用二进制 {−1, +1} 权重，配合相同的分组缩放，实际有效位宽为每权重 1.125 比特。大小为 3.9 GB，是注重占用空间的版本，能够适配 iPhone 17 Pro 的内存预算，首次将 27B 级模型带入手机。 与之前的每一个 Bonsai 版本一样，低位表示贯穿语言网络、嵌入层、注意力机制、MLP 和语言模型头，全程没有使用更高精度的“逃生通道”。两个版本均为多模态模型，视觉塔以紧凑的 4 位形式提供，使得设备端工作流不仅能处理文本，还能处理截图、文档和摄像头输入。Bonsai 27B 支持完整的 262K Token 上下文，并支持推测解码，通过无损的草稿-验证加速进一步提升速度。所有这些今天都以 Apache 2.0 许可证提供。 ## **保留智能** 在涵盖知识、推理、数学、编程、指令遵循、工具调用和视觉的 15 项基准测试套件中（在思考模式下评估，即模型充分发挥其推理能力），三进制 Bonsai 27B 保留了全精度基线的 **95%**，而 1 比特 Bonsai 27B 保留了 **90%**。 > *图 I：Bonsai 27B（思考模式）相对于全精度基线的基准测试得分。完整的每基准测试结果请参见白皮书。* 按能力阅读表格，结果比平均值更显著：数学和编程几乎不受影响，工具调用与全精度相比仅差几个百分点——这正是智能体工作负载所依赖的能力。作为对比，相同基础模型下最激进的常规低位构建，其得分显著低于 1 比特 Bonsai 27B，而内存占用却是其 2.5 倍。 这与我们之前在语言和图像模型上展示的帕累托位移相同，现在扩展到了 27B 规模：27B 级的能力，占用空间却小于全精度的 2B 模型。以我们随 1 比特 Bonsai 8B 引入的智能密度来衡量，1 比特 Bonsai 27B 达到了每 GB 0.53：是全精度基线的 10 倍以上，大约是目前最佳低位替代方案的 2.7 倍。 图 II：Bonsai 27B 与同参数量级别其他模型的智能密度（每 GB）对比。## **为何这是一个重要的范式转变** 最有价值的 AI 工作负载正从单次响应转向持续工作：操作真实工具的助手、在无人值守情况下运行并返回结果的工作流，以及综合数十份文档的研究工作。这种转变改变了工作负载的形态——一个智能体不是调用一次模型，而是调用数百次，每次调用都携带上下文，产生结构化输出，并为下一次调用提供输入。 对于许多产品来说，云 API 仍然是正确的选择。但对于智能体工作负载，纯云执行会带来结构性限制：每一步都是一次远程请求，每个 Token 的成本随着每次迭代不断累积，每个计划、工具调用和中间结果都通过网络传输，包括用户的私人文件、屏幕和数据。 > 轮播图 I：由我们的三进制 Bonsai 27B 模型在 NVIDIA GeForce RTX 5090 上驱动的端到端智能体工作流（Hermes 框架）。 本地执行改变了游戏规则。当一个能够承担持续智能体工作的模型能够适配设备时，智能体就可以存在于产品内部：百步循环的边际成本为零，用户的数据永远不会离开设备。这开辟了全新的类别——持久的设备端智能体、离线工作的助手、架构上就能对本地私有数据进行推理的助手。之前缺少的是一个足够小、能够以这种方式部署，并且能力足够强、值得信赖的模型。Bonsai 27B 就是那个模型。 它还解锁了一种新的系统架构：混合部署，将非前沿和隐私敏感的任务路由到能力强大的本地模型，而将前沿云模型保留用于最困难的步骤——从而大幅降低智能体系统的每任务成本。 Bonsai 27B 在 NVIDIA GeForce RTX 5090 上可达 163 tok/s（1 比特）和 134 tok/s（三进制）。在 M5 Max 上，可达 87 tok/s（1 比特）和 58 tok/s（三进制）。 适配手机是一个比存储数字更严格的门槛。手机永远不会向应用程序暴露其全部内存——一台 12GB 的 iPhone 大约提供 6GB 供模型在设备端使用，并且该预算还需要与 KV 缓存和激活值共享。没有任何常规构建的 27B 模型能够接近这个条件。而大约 4GB 大小的 1 比特 Bonsai 27B 是第一个通过这一门槛且留有运行空间的模型。 正是这一约束促使该系列发布了两个精心设计的运行点，专门考虑了这一点：三进制用于笔记本电脑级别的质量，1 比特用于手机级别的占用空间。 > 演示 II：由 1 比特 Bonsai 27B 在 iPhone 17 Pro Max 上驱动的多模态智能体用例（演示模式：缓存与预填充图像上下文） ## **前沿持续推进** 每一次 Bonsai 发布都将每 GB 智能的前沿向左推进，而 Bonsai 27B 将其推过了一个实际阈值：一个现代模型（具备思考、多模态理解、视觉、可靠的工具使用）的完整能力集，现在可以适配人们已经拥有的设备上。 我们相信智能密度将成为 AI 发展下一阶段的关键轴线之一。原始能力决定了模型能做什么；密度决定了它能在哪里做。前沿每一次向左移动，都会扩大先进 AI 能够运行的设备、产品和环境集合，并改变其触及的每一个部署层面的经济性，从手机到单 GPU 服务。Bonsai 背后的方法论是与架构无关的，而前沿将持续推进：更大的模型和新的架构已经在开发中。 早期的计算机占满整个房间；今天它们存在于我们的口袋里。智能正在经历同样的旅程，而 Bonsai 27B 是迄今为止最大的一步。**平台支持** Bonsai 27B 原生支持 Apple 设备（Mac、iPhone、iPad），通过 MLX 运行；也支持 NVIDIA GPU，通过 CUDA 及其专为混合注意力架构构建的自定义低位内核运行。模型权重今天以 Apache 2.0 许可证提供。此次发布，我们还提供限时免费的开发者预览 API，方便开发者轻松试用我们的模型。 关于压缩、评估和基准测试过程的完整技术细节，请参阅我们的白皮书 (https://github.com/PrismML-Eng/Bonsai-demo/blob/main/bonsai-27b-whitepaper.pdf)。 ## **加入我们** PrismML 源自加州理工学院的一组研究人员，在 Khosla Ventures、Cerberus 和 Google 的支持下成立，并持续获得三星的支持。我们花费了多年时间致力于解决该领域最困难的问题之一：在不牺牲推理能力的情况下压缩神经网络。 如果你想帮助构建下一代最先进的 AI，我们期待你的到来。请查看我们的招聘页面 (https://prismml.com/careers)。