ternary-llms

文章质疑为何像BitNet这样的三进制语言模型在初期显示出潜力后，却未能扩展到超过2B参数，并讨论了开放权重AI实验室明显缺乏进展的情况。

Bitnet.cpp 提出了一个混合精度矩阵乘法库，用于高效边缘推理三值大语言模型（如 BitNet b1.58），相比全精度基线实现了高达 6.25 倍的加速。该系统已在 GitHub 上开源。