标签
QTEA是一种面向大语言模型的亚2比特训练后量化框架，通过稀疏残差显著权重与按列优化，实现了三值权重压缩，并提升了准确率与硬件效率。
本文介绍了Qift，一种固定的无零点两位权重量化层级集，专为Hadamard旋转的大语言模型设计，通过利用旋转权重的近零中心高斯类分布，实现了改进的W2A4/KV4推理。在LLaMA-2-7B和LLaMA-3.1-8B上的实验显示，相比于标准W2量化，困惑度持续提升。