2-bit-format

#2-bit-format

@HuggingModels: 认识一下 Ternary-Bonsai-2-27B：一个将270亿参数模型压缩到2位三元格式的模型。在llama.cpp上运行，支持CUDA和Metal。

X AI KOLs Timeline ↗ · 6天前缓存

Ternary-Bonsai-2-27B是一个将270亿参数AI模型压缩到2位三元格式的模型，在llama.cpp上运行，支持CUDA和Metal，有助于实现轻量级的设备端AI部署。

0 人收藏 0 人点赞