标签
一位用户在8GB显存系统上测试了 unsloth 1位量化版本的 Qwen 3.8 27B AI模型，并发现结果很有趣。
Unsloth AI 发布了可在8GB内存上运行的 Qwen3.8-27B AI模型的1位量化版本，相比BF16精度保留了约77%的准确率。
本文追踪各种低比特AI模型的更新，包括Bonsai、BitCPM等，涵盖性能改进及对llama.cpp等后端的兼容性更新。
Unsloth 宣布 Qwen3.8 现在可以在本地运行，通过 Dynamic 1-bit 量化将 2.4T 参数模型从 4.9TB 缩小到 397GB，并提供了指南和 GGUF 版本。
腾讯的Hy3 295B模型现已提供1位和4位GGUF格式，相比云端API，本地推理速度提升2.2倍，同时保持质量，如在4块RTX 5090显卡（128GB显存）上所展示的。
Bonsai-27B 是一个1位二元变换器模型，在手机（iPhone 17 Pro Max）上实现完整的27B级推理，占用约3.9 GB内存，速度约11 tok/s，保留了约90%的FP16智能表现。
微软开源了bitnet.cpp，这是一个1位LLM推理框架，可以在没有GPU的本地CPU上运行100B参数模型，实现6.17倍的更快推理和82.2%的能耗降低。
PrismML 发布了 Bonsai Image 4B，一种 1-bit 二值和三值量化扩散模型，大小仅为 3GB（1-bit 版 0.93GB），相比同参数 FLUX.2 Klein 4B 的 16GB 压缩了 8 倍以上，并支持完全本地化浏览器运行。
PrismML发布了Bonsai 27B，一个支持代理工具调用和长上下文的视觉语言模型，以及1-bit和ternary变体。该演示仓库允许在多种硬件上本地运行这些模型。