gradient-based-methods

本综述探讨了面向网络防御的大模型遗忘方法，引入了一个三级框架来区分行为抑制、表示级衰减和真正遗忘，并分析了基于梯度、基于影响和局部编辑的方法。

本文证明，使用基于梯度的方法训练的两层神经网络能够实现学习高斯单指数模型的最优计算-统计权衡，对于所有生成指数，匹配SQ下界至多对数因子，并通过一种新颖的权重扰动技术扩展到稀疏设置。