neural-network-interpretability

本文研究稀疏自编码器中的种子依赖性，发现稳定特征携带大部分预测信号，而不稳定特征反映了可重现的低维子空间。

本论文引入注意力转移（Attention-Shifting, AS）框架，用于大语言模型的选择性机器遗忘，在有效移除敏感信息与防止幻觉和保持模型性能之间取得平衡。该方法采用重要性感知的注意力抑制和保留增强机制，在标准基准上相比现有遗忘方法实现了高达15%的准确度保持率提升。

# 激活图谱简介 来源：[https://openai.com/index/introducing-activation-atlases/](https://openai.com/index/introducing-activation-atlases/) 理解神经网络内部工作原理不仅仅是科学好奇心的问题——我们的知识缺陷限制了审计神经网络的能力，在高风险场景中，确保其安全性。通常，如果要部署关键软件，可以审查代码的所有执行路径，但