few-bit-integers

本文针对低比特整数提出了有符号对称量化方法，该方法将额外的可表示值分配给主要的离群尾，与标准对称量化相比，在不增加推理成本的情况下，改善了大语言模型（LLM）的量化误差和困惑度。