标签
Precision Numerics 发布 Boole-1.7B，一个基于 Qwen3-1.7B 的 1 位量化模型，权重仅 247 MB（比 BF16 小 13.9 倍），在 10 项任务评测中的平均得分达到 BF16 模型的 85.9%，超越 1 位的 Bonsai-1.7B，并接近 1.58 位的 Bonsai-1.7B。模型支持在浏览器中本地运行，也支持 vLLM 与 llama.cpp。
Mentria.ai 的浏览器推理引擎使用 WebGPU，在配备 6 GB 显存的 RTX 3060 笔记本 GPU 上，以 1 位 27B 参数模型实现了 25-30 个令牌每秒的速度，从而实现了无需服务器安装的高效 AI 推理。
用户报告在Jetson Orin NX 16GB边缘设备上成功运行了量化到1-bit的27B参数模型，对可行性表示惊讶。
Hy3 295B模型的1位量化版本在推理速度上比云端API快2.2倍，且质量无损
Bonsai 27B 通过 1 位量化实现了 93% 的体积缩减，同时保留了 90% 的智能，借助自定义 WebGPU 内核实现本地浏览器推理。