标签
本文提出了一种模式距离,用于衡量矩阵在最优行列置换后与几何模式(带状、块对角、箭头形)的接近程度;提出了一种用于计算该距离的交替线性指派算法;并提出了一种模式加低秩(PatLR)分解,在合成矩阵、真实相关矩阵和图矩阵以及 Transformer 注意力头上进行了评估。
本文介绍了K2SVD,这是一种通过Kalman推断学习Koopman算子表示的原理性方法,以实现高效且准确的时间序列预测,展示了优于现有最先进方法的性能。
本文介绍了“Compression Trinity”框架,该框架联合应用稀疏性、量化与低秩近似来压缩大型语言模型,以提高效率和性能。
本文提出了一种通过结合神经元重要性和数据感知低秩逼近来压缩大型语言模型的方法,同时采用高效的动态压缩率分配算法,性能与之前的最先进水平相当或更优。