PrismML Bonsai 27B 在 Jetson Orin Nano 8GB 上出人意料地可用

Reddit r/LocalLLaMA 模型
edge-ai jetson-orin-nano bonsai-27b power-efficient ai-inference

摘要

PrismML 的 Bonsai 27B 模型在 Jetson Orin Nano 8GB 上运行，处理速度为 4.31 tokens/s，提示处理速度为 27 t/s，使用 6.2GB 内存和约 25W 功耗。这表明边缘 AI 性能出人意料地可用。

上下文大小：48k 提示处理：27t/s Token/s：4.31 t/s 内存使用（冷启动）：6.2GB，加载模型（no-mmap）是的，它并不是很快，但这是一个不错的AI设置，功耗约25W，现在可以很好地完成复杂任务。
查看原文

相似文章

prism-ml/Bonsai-27B-gguf

Hugging Face Models Trending

Prism ML 发布了 Bonsai-27B-gguf，这是一个拥有 270 亿参数的语言模型，采用二进制（1.125 位）权重，实现了约 14 倍的尺寸缩减，同时保留了约 90% 的 FP16 推理性能。它可以在消费级硬件上运行，并具有高吞吐量。

Prism-ML Bonsai Qwen 3.6 27B

Reddit r/LocalLLaMA

Prism ML 发布了 Ternary-Bonsai-27B，这是 Qwen3.6-27B 的三元量化版本，在约 7.2 GB 的占用下保留了 FP16 智能的 95%，能够在笔记本电脑和单 GPU 上实现完整的 27B 级推理，在 Apple M5 Pro 上速度可达 26 tok/s。