ternary-llms

本文介绍了BITCOS，一种分布自适应布局，用于更高效地存储三元LLM权重，在GPU上实现矩阵-向量乘法高达1.28倍加速和推理吞吐量1.27倍提升。

文章质疑为何像BitNet这样的三进制语言模型在初期显示出潜力后，却未能扩展到超过2B参数，并讨论了开放权重AI实验室明显缺乏进展的情况。

Bitnet.cpp 提出了一个混合精度矩阵乘法库，用于高效边缘推理三值大语言模型（如 BitNet b1.58），相比全精度基线实现了高达 6.25 倍的加速。该系统已在 GitHub 上开源。