quantized-fine-tuning

介绍了AuroOFT，一种通过零起点门控低秩非线性残差增强量化正交微调（QOFT）的方法，在低比特语言模型上以更少的可训练参数提升了数学推理准确率，优于QOFT和QLoRA。