标签
Qwen3.6 27B的新三元量化版本,名为Bonsai 27B,可以在12GB GPU上运行,内存需求减少10倍,性能达到原版的95%,使其适用于本地部署。
讨论关于Bonsai 8b和27b等1-bit模型的可行性,这些模型在保持功能的同时实现了较小的文件大小,质疑其主要用例和未来。
Ternary Bonsai 27B,一个大型语言模型,被演示在NVIDIA RTX 5090 GPU上本地运行,内存需求低于6GB,使消费级硬件上实现端到端的智能代理工作流成为可能。
PrismML宣布推出Bonsai 27B,这是一个基于Qwen3.6 27B的多模态模型,可以在手机上运行,支持本地多步推理、工具使用和长上下文工作流。
PrismML宣布推出Bonsai 27B,这是Qwen3.6 27B的1位与三元量化版本,可在手机和笔记本电脑上运行,保留基线性能的90-95%,占用3.9GB空间,支持自主智能体与多模态的端侧AI。
Prism ML 发布了 Ternary-Bonsai-27B,这是 Qwen3.6-27B 的三元量化版本,在约 7.2 GB 的占用下保留了 FP16 智能的 95%,能够在笔记本电脑和单 GPU 上实现完整的 27B 级推理,在 Apple M5 Pro 上速度可达 26 tok/s。
Jane Street 的工程师介绍了 strace-ui,这是一个用于 strace 的交互式终端 UI,通过过滤、PID 追踪和手册页集成简化了系统调用调试,并强调了由其 Bonsai 框架推动的 TUI 复兴。