model-stealing

本文利用外微分系统对Transformer最后一层模型窃取攻击进行了几何解释，表明投影矩阵的恢复受二次曲面的极空间控制。它还刻画了最后一层之下的可识别性壁垒，揭示了哪些信息可以被提取，哪些不能。