Ternary Bonsai 是无头鸡
摘要
用户测试了 Ternary Bonsai 2 27B AI 模型,输入了一个创意提示,但模型陷入了无限循环,数小时重复而无进展,令人失望。
试了一下 Ternary Bonsai 2 27B,很兴奋。给了它一个提示:'创建一个3D小星球,玩家可以在上面行走,探索各种生态群落。星球不需要太大,但环游仍然有趣。故事关于一个童子军在露营时四处探索。' 但它像无头鸡一样循环思考,一直说同样的话超过2小时了。真的让我很失望。
相似文章
我希望ternary最终能行,但……唉
用户对来自Prisml的ternary Bonsai模型表示失望,质疑其质量尽管有炒作,并怀疑这是否只是典型的模型过度炒作。
Ternary Bonsai:1.58 比特下的顶级智能
一种使用三值权重(-1、0、1)的高效 AI 模型架构,仅需 1.58 比特/参数即可实现具有竞争力的性能,可部署在极度受限的设备上。
@HuggingModels: 认识一下 Ternary-Bonsai-2-27B:一个将270亿参数模型压缩到2位三元格式的模型。在llama.cpp上运行,支持CUDA和Metal。
Ternary-Bonsai-2-27B是一个将270亿参数AI模型压缩到2位三元格式的模型,在llama.cpp上运行,支持CUDA和Metal,有助于实现轻量级的设备端AI部署。
Ternary Bonsai 2 (27B) 刚刚在 Hugging Face 发布。其大小小于 6GB,甚至可以在浏览器本地通过 WebGPU 运行。
Ternary Bonsai 2 是基于 Qwen3.8-27B 的 27B 参数模型,采用三元权重,将模型大小压缩至 6GB 以下,同时保留 98.2% 的智能,使其能够通过 WebGPU 在浏览器中运行。
我在8GB显存下在Terminal-Bench 2.0上运行了Ternary-Bonsai-27B(2-bit)和Bonsai-27B(1-bit)
一位用户在Terminal-Bench 2.0上测试了27B参数Bonsai模型的量化1-bit和2-bit版本,在8GB显存内获得了结果。