weight-orthogonalisation

标签

Cards List
#weight-orthogonalisation

拔除干草堆中的「绣花针」:通过权重正交化移除大语言模型中的后门

Hugging Face Daily Papers ↗ · 2026-09-29 缓存

NEEDLE 是一种免训练的后门移除方法,用于从大语言模型中清除后门:它先估计出后门方向和拒绝子空间,随后通过顺序权重正交化抑制后门,同时保留模型的拒绝行为和基本能力。该方法在多个模型系列上实现了最低的攻击成功率(在代码注入攻击上甚至降至 0%),同时 KL 散度和安全性下降幅度最小。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈