orthogonal-residuals

#orthogonal-residuals

通过激活值引导的补偿与正交残差理解大语言模型量化

arXiv cs.LG ↗ · 4天前缓存

本文提出大语言模型量化误差的分解框架，将其分离为激活值引导的权重补偿与正交残差两部分，并通过Hadamard旋转和符号选择等技术推导出改进W4A4量化的实用指南。

0 人收藏 0 人点赞