Bonsai 27B：使用自定义WebGPU内核在浏览器中本地运行的1比特密集型大语言模型

Reddit r/LocalLLaMA 2026/07/14 17:48 模型

1-bit-llm webgpu browser local-inference large-language-model dense-model

摘要

Bonsai 27B是一个1比特密集型大语言模型，通过使用自定义WebGPU内核可以在浏览器中本地运行，实现高效的设备端推理。

暂无内容

查看原文

相似文章

X AI KOLs Timeline

Bonsai 27B 通过 1 位量化实现了 93% 的体积缩减，同时保留了 90% 的智能，借助自定义 WebGPU 内核实现本地浏览器推理。

Hacker News Top

PrismML宣布推出Bonsai 27B，这是Qwen3.6 27B的1位与三元量化版本，可在手机和笔记本电脑上运行，保留基线性能的90-95%，占用3.9GB空间，支持自主智能体与多模态的端侧AI。

Reddit r/LocalLLaMA

LFM2.5 230M 模型使用自定义 WebGPU 内核在浏览器中实现每秒 1,400 个 token，展示了高效的本地推理。

X AI KOLs Timeline

PrismML 宣布推出 Bonsai 27B，这是首款能在手机上运行的 270 亿参数模型，提供三进制和 1 位变体（分别为 5.9 GB 和 3.9 GB），能够在本地设备上实现多步推理和智能体工作流，全部以 Apache 2.0 许可证开源。

Hacker News Top

PrismML 发布 Bonsai Image 4B，这是一系列紧凑型图像生成模型，使用 1-bit 和三进制权重，能够在笔记本电脑和 iPhone 等本地设备上实现高质量扩散推理，同时显著减少内存占用。