loss-aware

LACE-SVD是一种新颖的大语言模型低秩压缩方法，采用损失感知的秩分配策略和传播感知的纠正技术，以减轻残差流中的累积误差传播，在高压缩比下实现了比以往基于SVD的方法更好的困惑度。