@HuggingModels: 认识一下 Ternary-Bonsai-2-27B：一个将270亿参数模型压缩到2位三元格式的模型。在llama.cpp上运行，支持CUDA和Metal。

X AI KOLs Timeline 模型
ai-model ternary-quantization llama-cpp on-device-ai 2-bit-format model-compression

摘要

Ternary-Bonsai-2-27B是一个将270亿参数AI模型压缩到2位三元格式的模型，在llama.cpp上运行，支持CUDA和Metal，有助于实现轻量级的设备端AI部署。

认识一下 Ternary-Bonsai-2-27B：一个将270亿参数模型压缩到2位三元格式的模型。在llama.cpp上运行，支持CUDA和Metal。下载量已超过40.5万次，还在增长。设备端AI变得更加轻量了。https://t.co/QGH8QR9nAe
查看原文
查看缓存全文

缓存时间: 2026/09/19 15:05

认识 Ternary-Bonsai-2-27B：一款通过2比特三进制格式压缩的270亿参数模型。支持CUDA和Metal架构的llama.cpp平台运行。下载量已超40.5万次并持续增长。端侧AI体验迎来更轻量化突破。https://t.co/QGH8QR9nAe

相似文章

Ternary Bonsai：1.58 比特下的顶级智能

Hacker News Top

一种使用三值权重（-1、0、1）的高效 AI 模型架构，仅需 1.58 比特/参数即可实现具有竞争力的性能，可部署在极度受限的设备上。

prism-ml/Ternary-Bonsai-2-27B-gguf

Hugging Face Models Trending

发布 Ternary-Bonsai-2-27B-gguf，一款 27B 参数的语言模型，采用三元权重实现极端压缩（5.9 GB），同时保留 98.2% 的 FP16 精度性能，并针对笔记本电脑和单 GPU 的高效推理进行优化。