标签
一位开发者正在创建一种方法，通过使用随机矩阵理论分析权重和张量来视觉化AI模型的指纹，并使用QWEN2.5模型的数据，他对开源该工具感兴趣。
本文应用Marchenko-Pastur随机矩阵理论于预训练注意力权重，将每个投影矩阵分解为类随机体（bulk）和谱异常值。因果实验表明，在Mistral-7B中将这些异常值置零会使HellaSwag、MMLU和PIQA的性能接近随机水平，从而揭示谱异常值编码了11个Transformer中占主导地位的学习结构。
本文提出了一种基于马尔钦科-帕斯图尔随机矩阵的深度神经网络剪枝方法，提供了理论保证，并在 ImageNet 上对 ViT 和 CNN 架构实现了高精度保持，仅需极少的微调。