adversarial-defense

来自南安普顿大学和曼彻斯特大学的研究人员提出了一种面向大语言模型的混合对抗防御框架，该框架将基于熵、基于不确定性和基于几何的模型相结合，旨在同时应对自然语言理解任务中的幻觉问题和对抗性攻击漏洞，最终实现了高达 64.92% 的对抗鲁棒性提升和 62.27% 的攻击成功率降低。

本文提出了通过重写推理追踪来保护大型语言模型免受未授权知识蒸馏的方法，该方法在保持正确性的同时降低训练价值，并在蒸馏的学生模型中嵌入可验证的水印。该方案采用基于指令和基于梯度的重写技术来实现反蒸馏效果，同时不影响教师模型性能。