现在可以微调 Prism-ML 的三元 Bonsai 模型
摘要
Prism-ML 宣布他们的三元 Bonsai 模型现在可以进行微调，提供了示例代码，并建议使用较高的学习率。
示例已包含，请使用很高的学习率：https://github.com/electroglyph/ternary_QAT
相似文章
prism-ml/Ternary-Bonsai-27B-mlx-2bit
Prism ML 发布了 Ternary-Bonsai-27B-mlx-2bit，这是一个三元量化的 27B 参数语言模型，在约 7.2 GB 内存下实现了 FP16 性能的约 95%，使笔记本电脑能够进行完整推理。
prism-ml/Bonsai-27B-gguf
Prism ML 发布了 Bonsai-27B-gguf，这是一个拥有 270 亿参数的语言模型，采用二进制（1.125 位）权重，实现了约 14 倍的尺寸缩减，同时保留了约 90% 的 FP16 推理性能。它可以在消费级硬件上运行，并具有高吞吐量。
PrismML-Eng/Bonsai-demo
PrismML发布了Bonsai 27B，一个支持代理工具调用和长上下文的视觉语言模型，以及1-bit和ternary变体。该演示仓库允许在多种硬件上本地运行这些模型。
Prism-ML Bonsai Qwen 3.6 27B
Prism ML 发布了 Ternary-Bonsai-27B，这是 Qwen3.6-27B 的三元量化版本，在约 7.2 GB 的占用下保留了 FP16 智能的 95%，能够在笔记本电脑和单 GPU 上实现完整的 27B 级推理，在 Apple M5 Pro 上速度可达 26 tok/s。
prism-ml/bonsai-image-ternary-4B-gemlite-2bit
Prism ML发布Bonsai Image，一个1.21 GB的文本到图像扩散变换器，使用三元权重（1.58-bit）用于NVIDIA GPU，在RTX 3080上4.5秒生成1024²图像，体积远小于FP16。