Prism-ML 的 Bonsai-27B 基准测试

Reddit r/LocalLLaMA 2026/07/14 21:34 模型

benchmarks model-release 27b bonsai prism-ml

摘要

Prism-ML 发布了其 Bonsai-27B 模型的基准测试结果。

暂无内容

查看原文

相似文章

Hugging Face Models Trending

Prism ML 发布了 Bonsai-27B-gguf，这是一个拥有 270 亿参数的语言模型，采用二进制（1.125 位）权重，实现了约 14 倍的尺寸缩减，同时保留了约 90% 的 FP16 推理性能。它可以在消费级硬件上运行，并具有高吞吐量。

Reddit r/LocalLLaMA

对 PrismML 的 1-bit Bonsai-8B 与 IBM 的 Granite 及其他模型在 CPU 工具调用上的独立基准测试显示，在语法约束解码下，Bonsai-8B 的通过率达到 92%，超越了更大的模型，但在无约束条件下失败。Granite 是原始表现最好的模型，通过率为 72%。

Reddit r/LocalLLaMA

Prism ML 发布了 Ternary-Bonsai-27B，这是 Qwen3.6-27B 的三元量化版本，在约 7.2 GB 的占用下保留了 FP16 智能的 95%，能够在笔记本电脑和单 GPU 上实现完整的 27B 级推理，在 Apple M5 Pro 上速度可达 26 tok/s。

X AI KOLs Timeline

用户测试了PrismML的新Bonsai 27B模型在Nvidia DGX Spark上的表现，报告了基准测试速度以及llama.cpp构建的问题，同时PrismML宣布该模型是首款能在手机上运行的27B级模型。

Reddit r/LocalLLaMA

PrismML 的 Bonsai 27B 模型在 Jetson Orin Nano 8GB 上运行，处理速度为 4.31 tokens/s，提示处理速度为 27 t/s，使用 6.2GB 内存和约 25W 功耗。这表明边缘 AI 性能出人意料地可用。