gradient-free

介绍了一种名为 Eggroll 的低秩进化策略，用于脉冲神经网络的无梯度训练，在 N-MNIST 上减少内存和时间开销，同时达到有竞争力的准确率。

NVIDIA与牛津大学联合推出EGGROLL，一种可扩展的进化策略算法，仅使用整数和并行突变就能训练十亿参数模型，无需反向传播。

本文介绍了GUARD-IT，一种无需训练的机器遗忘方法，该方法在推理时使用输入相关的激活引导来从大型语言模型中移除目标知识，而无需修改权重，其性能匹配或超过基于梯度的基线方法，同时保持效用和对量化的鲁棒性。