标签
CASTER引入了一种无梯度的测试时适应方法,适用于冻结模型。它使用仿射统计迁移和一个证书来决定何时应用适应,从而在不更新模型的情况下提升性能。
本文提出一个负面结果,表明当前知识编辑基准无法有效评估范围分类器。使用INLAY(一个无梯度编辑器)来演示,由于基准的结构性限制,没有逐查询路由方法能提高性能。
介绍GROM,一种无梯度的单次机器遗忘方法,通过岭正则化最小二乘法计算闭式加性权重更新,在TOFU和WMDP等基准上实现了最先进的遗忘-效用权衡,并能抵抗基于量化的恢复攻击。
This paper proposes CoRA, a gradient-free framework for task-conditioned retrieval in on-device in-context learning, using frozen encoders and closed-form ridge regression to build compact retrieval bases without fine-tuning or backpropagation.
介绍了一种名为 Eggroll 的低秩进化策略,用于脉冲神经网络的无梯度训练,在 N-MNIST 上减少内存和时间开销,同时达到有竞争力的准确率。
NVIDIA与牛津大学联合推出EGGROLL,一种可扩展的进化策略算法,仅使用整数和并行突变就能训练十亿参数模型,无需反向传播。
本文介绍了GUARD-IT,一种无需训练的机器遗忘方法,该方法在推理时使用输入相关的激活引导来从大型语言模型中移除目标知识,而无需修改权重,其性能匹配或超过基于梯度的基线方法,同时保持效用和对量化的鲁棒性。