激活图谱简介

# 激活图谱简介 来源：https://openai.com/index/introducing-activation-atlases/ 理解神经网络内部发生的事情不仅仅是科学好奇心的问题——我们的理解不足会限制我们审计神经网络的能力，在高风险情况下，确保它们是安全的。通常，如果要部署一个关键的软件，可以审查代码的所有路径，甚至进行形式化验证，但对于神经网络，我们进行这类审查的能力目前要受限得多。借助激活图谱，人类可以发现神经网络中未预料到的问题——例如，网络依赖虚假相关性来分类图像的地方，或者在两个类别之间重复使用特征导致奇怪错误的地方。人类甚至可以利用这种理解来"攻击(在新窗口中打开) (https://arxiv.org/pdf/1312.6199.pdf)"模型，修改图像来欺骗它。 例如，可以创建一种特殊的激活图谱来展示网络如何区分煎锅和炒锅。我们看到的许多东西都是符合预期的。煎锅更呈方形，而炒锅更圆且更深。但模型似乎也学到了煎锅和炒锅还可以通过周围的食物来区分——特别是，炒锅的识别得到了面条的支持。在图像的角落添加面条会在 45% 的时间内愚弄模型！这与"对抗补丁(在新窗口中打开) (https://arxiv.org/pdf/1712.09665.pdf)"等工作相似，但基于人类的理解。