bonsai

Prism-ML 宣布他们的三元 Bonsai 模型现在可以进行微调，提供了示例代码，并建议使用较高的学习率。

一份详细指南，介绍如何在仅有8GB显存的硬件上运行27B Bonsai模型，使用1位量化版本和PrismML分支的llama.cpp，包含精确的服务器命令和配置。

一款1位LLM（Bonsai）现在可以通过WebGPU在浏览器中运行，实现高效的设备端推理。

PrismML 宣布推出 Bonsai 27B，这是 Qwen3.6 27B 的二值量化版本，可在手机上运行，每个权重仅使用 1.125 比特，声称保留了 89.5% 的智能。该模型正由 @sudoingX 独立测试以验证性能。

Qwen3.6 27B的新三元量化版本，名为Bonsai 27B，可以在12GB GPU上运行，内存需求减少10倍，性能达到原版的95%，使其适用于本地部署。

讨论关于Bonsai 8b和27b等1-bit模型的可行性，这些模型在保持功能的同时实现了较小的文件大小，质疑其主要用例和未来。

Prism-ML 发布了其 Bonsai-27B 模型的基准测试结果。

Ternary Bonsai 27B，一个大型语言模型，被演示在NVIDIA RTX 5090 GPU上本地运行，内存需求低于6GB，使消费级硬件上实现端到端的智能代理工作流成为可能。

PrismML宣布推出Bonsai 27B，这是一个基于Qwen3.6 27B的多模态模型，可以在手机上运行，支持本地多步推理、工具使用和长上下文工作流。

PrismML宣布推出Bonsai 27B，这是Qwen3.6 27B的1位与三元量化版本，可在手机和笔记本电脑上运行，保留基线性能的90-95%，占用3.9GB空间，支持自主智能体与多模态的端侧AI。

Prism ML 发布了 Ternary-Bonsai-27B，这是 Qwen3.6-27B 的三元量化版本，在约 7.2 GB 的占用下保留了 FP16 智能的 95%，能够在笔记本电脑和单 GPU 上实现完整的 27B 级推理，在 Apple M5 Pro 上速度可达 26 tok/s。

Prism ML 发布了 Ternary-Bonsai-27B-mlx-2bit，这是一个三元量化的 27B 参数语言模型，在约 7.2 GB 内存下实现了 FP16 性能的约 95%，使笔记本电脑能够进行完整推理。

Jane Street 的工程师介绍了 strace-ui，这是一个用于 strace 的交互式终端 UI，通过过滤、PID 追踪和手册页集成简化了系统调用调试，并强调了由其 Bonsai 框架推动的 TUI 复兴。

PrismML发布了Bonsai 27B，一个支持代理工具调用和长上下文的视觉语言模型，以及1-bit和ternary变体。该演示仓库允许在多种硬件上本地运行这些模型。