标签
ARCHead 是一种紧凑的 LM-head 压缩器，结合了量化低秩因子、INT4 残差和激活度量校正，在保持困惑度的同时将存储减少约 3.7–3.9 倍，作为现有块量化器的补充。
本文介绍了 Ember，一种用于嵌入矩阵和语言模型头矩阵的轻量级优化器，它利用梯度几何来提高监督微调、强化学习和预训练中的效率和性能，同时使用的优化器状态远少于 Adam。