视觉化AI模型指纹

好了，所以我做了一些研究。我发现没有模型能力的视觉化表示，只有基准测试的指标，这在实践中并不能说明太多问题。因此，我正在研究一种通过张量扫描和权重评估来检查模型功能的方法。这源于2024年的RMT研究，使用Alpha值映射到模型每个层类型的一个频带。我有来自QWEN2.5 4b bf16、q8km和q4km ggufs的数据。我必须自己编写脚本，因为weightwatch没有任何量化值的数据，也不支持他们的数据集。所以我正在自己深入研究这些数据，并尝试为模型的每一层制作一个使用潜力的热图。这个方法的作用是：首先运行权重，获取它们的值的映射，以对每个张量值进行比对。然后运行每个张量，映射直接存储在权重中的值的利用率。它返回模型在推理过程中每一层和块的Alpha值。它不会启动模型并询问问题。它直接扫描构成模型的矩阵，与驱动其推理的权重进行比对。到目前为止，量化还没有影响模型的Alpha值。这是低参数模型，所以我需要将其与高参数模型一起运行，以验证我在小模型上看到的内容的完整性。但唯一的偏差出现在第31块（最后一块）。作为开源项目，这会是人们感兴趣的东西吗？我做这个主要是为了在我的自定义框架中让我的模型工作得更好，并找出低参数模型中冗长性是如何确定的。如果你感兴趣，你是否有过低参数模型在没有冗长性的情况下工作得非常好的经历？你是否运行过低参数模型作为代理？如果是，是哪些？我想对它们进行指纹识别，并获得一个良好的详细图谱，附带描述性使用数据。