gradient-masking

本文识别了大型语言模型在On-Policy Self-Distillation中的'Thinking Collapse'现象，其特点是中间推理步骤的减少，并提出了AD-OPSD控制框架，通过将高风险抑制令牌锚定到参考先验来缓解这种崩溃。该方法在数学基准测试上实现了高达+4.1%的绝对平均准确率提升。

本文讨论了针对机器学习模型的对抗攻击，并展示了梯度掩蔽（一种试图拒绝攻击者访问有用梯度的防御技术）为何从根本上是无效的。论文表明，攻击者可以通过训练能够模拟被防御模型行为的替代模型来绕过梯度掩蔽，最终使这一防御策略失效。