@0x0SojalSec: 你可以在MacBook本地运行无审查版Bonsai 2-27B。 - 在24 GB的MacBook上每秒token数。 - 但基础模型没有达到我期望的水平……

X AI KOLs Timeline 模型
local-ai uncensored-model macbook-inference ternary-weights coding-performance ai-model-release consumer-hardware

摘要

一篇推文讨论了在配备24 GB RAM的MacBook上本地运行无审查版Ternary-Bonsai-27B AI模型，突出其在编码任务中的性能。

你可以在MacBook本地运行无审查版Bonsai 2-27B。 - 在24 GB的MacBook上每秒token数。 - 但基础模型没有达到我期望的水平 https://t.co/qW2FhwTMHa
查看原文
查看缓存全文

缓存时间: 2026/09/19 09:01

您可以在MacBook上本地运行Bonsai 2-27B无审查模型。

  • 在24GB内存的MacBook上运行速度约达到tok/s。
  • 但基础模型表现未达预期
    https://t.co/qW2FhwTMHa

Md Ismail Šojal 🕷️ (@0x0SojalSec): 您可以在7.2GB内存设备上本地运行全新的三值化Bonsai-27B无审查模型

  • 拒绝响应几乎消失，具备母语级编程能力
  • 对打包三值化权重进行了完全擦除
  • 低程度擦除实现最大化HC伤疤模型效果
  • 编程能力仍保持19/20水准

适合研究/离线使用，仍属通用模型，可在您的

相似文章

在本地定期使用Bonsai 27b 1b量化版

Reddit r/LocalLLaMA

一位用户分享了在16GB MacBook Air上本地使用Bonsai 27b的1-bit量化版进行日常聊天、辅导Go语言以及分析个人笔记的积极体验，称赞其智能性和小巧的体积。