Boole-1.7B：一款性能超越 Bonsai-1.7B 的 1 比特 Qwen3-1.7B 模型

Reddit r/LocalLLaMA 模型
1-bit-quantization open-source llm model-compression qwen3 inference

摘要

Precision Numerics 发布 Boole-1.7B，一个基于 Qwen3-1.7B 的 1 位量化模型，权重仅 247 MB（比 BF16 小 13.9 倍），在 10 项任务评测中的平均得分达到 BF16 模型的 85.9%，超越 1 位的 Bonsai-1.7B，并接近 1.58 位的 Bonsai-1.7B。模型支持在浏览器中本地运行，也支持 vLLM 与 llama.cpp。

我们发布了 Boole-1.7B，正式推出 Precision Numerics。Boole-1.7B 是 Qwen3-1.7B 的 1 比特版本。打包后的权重仅为 247 MB：体积是 BF16 版本的 1/13.9。在我们的 10 项任务评测中，其平均得分达到 BF16 模型的 85.9%——优于 1 比特的 Bonsai-1.7B，并几乎与 1.58 比特的 Bonsai-1.7B 持平。你可以在浏览器中本地试用（适用于使用英语和非思考模式的低延迟任务），也可以通过 vLLM 或 llama.cpp 使用。我们将为开源社区推出能力更强的模型。欢迎告诉我们，你希望接下来看到哪些模型或能力。博客：precisionnumerics.ai/blog/boole-1p7b 权重：huggingface.co/precision-numerics/Boole-1.7B 演示代码（适用于 vLLM、llama.cpp）：github.com/PrecisionNumerics/boole-demo 浏览器本地聊天：precisionnumerics.ai/chat/
查看原文

相似文章

Prism-ML Bonsai Qwen 3.6 27B

Reddit r/LocalLLaMA

Prism ML 发布了 Ternary-Bonsai-27B，这是 Qwen3.6-27B 的三元量化版本，在约 7.2 GB 的占用下保留了 FP16 智能的 95%，能够在笔记本电脑和单 GPU 上实现完整的 27B 级推理，在 Apple M5 Pro 上速度可达 26 tok/s。

基于 Qwen 3.5 的 Ternary Bonsai 2 系列：2B、4B 与 9B

Reddit r/LocalLLaMA

PrismML 推出基于 Qwen3.5 的 Ternary Bonsai 2 系列新模型 2B、4B 和 9B，采用 {−1, 0, +1} 三值权重表示，内存占用比全精度模型小 9 倍以上，并在吞吐与能效上最高提升 5 倍和 3 倍，面向手机、电脑和可穿戴设备上的本地智能体场景。

Saluki 27B：「性能达 Qwen 3.8 的 96%，体积仅约 1/7」

Reddit r/LocalLLaMA

Underdog AI 发布了 Saluki 27B——Qwen3.8-27B 的 2-bit 量化版本，文件仅 7.89 GB，可在 16GB 笔记本上通过标准 llama.cpp 运行，在其自建的 Underdog Bench 工具调用测试中取得 88/120 的成绩，保留了原模型约 96% 的性能。