OpenAI Microscope

# OpenAI Microscope 来源：https://openai.com/index/microscope/ Microscope 系统性地可视化了几个常用视觉模型中的每个神经元，并使所有这些神经元可链接。我们希望这能在以下几个方面为可解释性社区提供支持： 1. 尽管这些模型和可视化已经是开源的（我们帮助维护 [lucid 库](https://github.com/tensorflow/lucid/)（在新窗口中打开），所有 Microscope 中的可视化均使用该库生成），但可视化神经元本身仍很繁琐。Microscope 将探索神经元的反馈循环从几分钟缩短到几秒。这种快速的反馈循环对于我们发现在持续进行的 [circuits 项目](https://distill.pub/2020/circuits/zoom-in/)（在新窗口中打开）中类似高低频检测器这样的意外特征至关重要。 2. 使模型和神经元可链接，可以让人们立即对关于这些神经元的研究主张进行审视和进一步探索。它还能消除关于讨论的是哪个模型和神经元的潜在混淆（我们到底在说 InceptionV1 的五个版本中的哪一个？）。这对于合作非常有用，特别是当研究人员来自不同机构时。 3. 可解释性作为机器学习领域的一个方向，其优点之一就是它的易用性。与许多其他领域相比，它所需的计算资源相对较少。但系统性地可视化神经网络仍然需要数百 GPU 小时。我们希望，通过分享我们的可视化结果，能帮助保持可解释性的高易用性。 就像生物学家通常专注于研究少数“模式生物”一样，Microscope 专注于详细探索少量模型。我们的初始版本包括九个常用的视觉模型，以及我们在研究它们时发现特别有用的几种可视化技术。我们计划在未来几个月扩展到其他模型和技术。 我们很期待看到社区如何使用 Microscope，并鼓励大家重复使用这些资源。特别地，我们认为它在支持 [Circuits 合作项目](https://distill.pub/2020/circuits/zoom-in/)（在新窗口中打开）——一个通过分析单个神经元及其连接来逆向工程神经网络的项目——或类似工作方面有很大的潜力。