标签
Reddit 帖子对比了 Qwen3.6-27B 的多种量化版本（INT4、NVFP4、BF16-INT4），展示不同场景下内存占用与精度的权衡。
Bitnet.cpp 提出了一个混合精度矩阵乘法库，用于高效边缘推理三值大语言模型（如 BitNet b1.58），相比全精度基线实现了高达 6.25 倍的加速。该系统已在 GitHub 上开源。