bonsai

标签

Cards List
#bonsai

对于拥有12GB GPU的用户,现在可以通过新的Ternary版本运行QWEN 3.6 27B,损失很小。

Reddit r/ArtificialInteligence · 昨天

Qwen3.6 27B的新三元量化版本,名为Bonsai 27B,可以在12GB GPU上运行,内存需求减少10倍,性能达到原版的95%,使其适用于本地部署。

0 人收藏 0 人点赞
#bonsai

那么关于1-bit模型的共识是什么?它仍然是一个幻想吗?

Reddit r/LocalLLaMA · 昨天

讨论关于Bonsai 8b和27b等1-bit模型的可行性,这些模型在保持功能的同时实现了较小的文件大小,质疑其主要用例和未来。

0 人收藏 0 人点赞
#bonsai

Prism-ML 的 Bonsai-27B 基准测试

Reddit r/LocalLLaMA · 昨天

Prism-ML 发布了其 Bonsai-27B 模型的基准测试结果。

0 人收藏 0 人点赞
#bonsai

@TheAhmadOsman: 天哪!27B模型低于6GB和4GB,本地AI将成为默认。附注:我们将尽快在ODS上由@OsmanticAI优化此功能…

X AI KOLs Timeline · 昨天 缓存

Ternary Bonsai 27B,一个大型语言模型,被演示在NVIDIA RTX 5090 GPU上本地运行,内存需求低于6GB,使消费级硬件上实现端到端的智能代理工作流成为可能。

0 人收藏 0 人点赞
#bonsai

@populartourist: 我可以在我的经济型笔记本上运行27B而不是9B。这简直令人难以置信。

X AI KOLs Timeline · 昨天 缓存

PrismML宣布推出Bonsai 27B,这是一个基于Qwen3.6 27B的多模态模型,可以在手机上运行,支持本地多步推理、工具使用和长上下文工作流。

0 人收藏 0 人点赞
#bonsai

Bonsai 27B(1位LLM):首个能在手机上运行的27B级别模型

Hacker News Top · 昨天 缓存

PrismML宣布推出Bonsai 27B,这是Qwen3.6 27B的1位与三元量化版本,可在手机和笔记本电脑上运行,保留基线性能的90-95%,占用3.9GB空间,支持自主智能体与多模态的端侧AI。

0 人收藏 0 人点赞
#bonsai

Prism-ML Bonsai Qwen 3.6 27B

Reddit r/LocalLLaMA · 昨天 缓存

Prism ML 发布了 Ternary-Bonsai-27B,这是 Qwen3.6-27B 的三元量化版本,在约 7.2 GB 的占用下保留了 FP16 智能的 95%,能够在笔记本电脑和单 GPU 上实现完整的 27B 级推理,在 Apple M5 Pro 上速度可达 26 tok/s。

0 人收藏 0 人点赞
#bonsai

Strace-ui、Bonsai_term 与 TUI 复兴

Hacker News Top · 2026-06-02 缓存

Jane Street 的工程师介绍了 strace-ui,这是一个用于 strace 的交互式终端 UI,通过过滤、PID 追踪和手册页集成简化了系统调用调试,并强调了由其 Bonsai 框架推动的 TUI 复兴。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈