PrismML-Eng/Bonsai-demo

GitHub Trending (daily) 模型
bonsai language-model vision-language 1-bit ternary agentic-tool-calling demo

摘要

PrismML发布了Bonsai 27B，一个支持代理工具调用和长上下文的视觉语言模型，以及1-bit和ternary变体。该演示仓库允许在多种硬件上本地运行这些模型。

Bonsai演示
查看原文
查看缓存全文

缓存时间: 2026/07/16 16:22

网站 | GitHub | Discord

HF Collections: Bonsai 27B · Bonsai (1-bit) · Ternary-Bonsai

Whitepapers: Bonsai 27B · 1-bit Bonsai 8B · Ternary-Bonsai 8B

相似文章

prism-ml/Bonsai-27B-gguf

Hugging Face Models Trending

Prism ML 发布了 Bonsai-27B-gguf，这是一个拥有 270 亿参数的语言模型，采用二进制（1.125 位）权重，实现了约 14 倍的尺寸缩减，同时保留了约 90% 的 FP16 推理性能。它可以在消费级硬件上运行，并具有高吞吐量。

Prism-ML Bonsai Qwen 3.6 27B

Reddit r/LocalLLaMA

Prism ML 发布了 Ternary-Bonsai-27B，这是 Qwen3.6-27B 的三元量化版本，在约 7.2 GB 的占用下保留了 FP16 智能的 95%，能够在笔记本电脑和单 GPU 上实现完整的 27B 级推理，在 Apple M5 Pro 上速度可达 26 tok/s。