模型无关的灵敏度近似器 [P]

（首先声明，我16岁，这是我开发的第一个包。欢迎任何反馈！）我注意到大多数行业标准的XAI工具（如SHAP/LIME）专注于特征归因（模型为何做出这个预测），但仅此而已。我想更进一步，因此构建了一个工具来近似 ∂[预测]/∂[特征]，即模型预测对给定实例的每个特征的敏感程度，从而在需要知道如何改变预测比理解预测本身更重要的领域实现有效的风险管理。该工具旨在用于连续且不可微的黑盒模型，特别是随机森林或XGBoost等模型。它采用基于扰动的方法（深受LIME启发，我非常喜欢这个工具），在给定实例的某个窗口内（窗口大小由特征分布控制）扰动每个特征，然后计算每次扰动的割线斜率（ (f(扰动) - f(原始)) / (扰动-原始) ），并使用线性回归（x=扰动，y=割线斜率）来估计原始实例处的斜率。割线斜率根据扰动与原始值的距离进行高斯加权。坦白说，结果有些平淡。我将我的工具与简单使用中心有限差分（ (f(x+h)-f(x-h)) / 2h，其中h很小）进行了比较，发现在PyTorch神经网络上（使用autograd作为真实值），其性能提升有限。然而，在无法解析求解梯度的随机森林模型上，我的工具的灵敏度比CFD稳定得多，CFD的灵敏度严重依赖于epsilon（h值）的大小。如果你感兴趣，可以通过pip install sage-explainer尝试。更多信息请访问我的GitHub仓库 yashkher-123/sage。