人工神经网络中的多模态神经元

# 人工神经网络中的多模态神经元 来源：https://openai.com/index/multimodal-neurons/ OpenAI 发现了 CLIP 中的神经元，它们对以字面、符号或概念形式呈现的同一概念做出反应。这可能解释了 CLIP 在分类令人惊讶的概念视觉表现时的准确性，也是理解 CLIP 及类似模型学习的关联和偏见的重要一步。 十五年前，Quiroga 等人发现人脑中存在多模态神经元。这些神经元对围绕共同高级主题的抽象概念集群做出反应，而不是对任何特定的视觉特征做出反应。其中最著名的是"哈莉·贝瑞"神经元，它同时出现在《科学美国人》和《纽约时报》中。这个神经元对照片、素描和文本"Halle Berry"做出反应（但不对其他名字做出反应）。 两个月前，OpenAI 宣布推出 CLIP，一个通用视觉系统，其性能与 ResNet-50 相当，但在一些最具挑战性的数据集上超越现有视觉系统。这些挑战数据集（*ObjectNet*、*ImageNet Rendition* 和 *ImageNet Sketch*）对模型的鲁棒性进行了压力测试，不仅测试了简单失真、光照或姿态变化的识别能力，还测试了完全的抽象和重构——素描、卡通甚至对象的雕像。 现在，我们公开了 CLIP 中存在多模态神经元的发现。例如，一个"蜘蛛侠"神经元（与"哈莉·贝瑞"神经元有着惊人的相似之处）对蜘蛛的图像、文本"spider"的图像以及穿着服装或被绘制的漫画人物"蜘蛛侠"做出反应。 我们在 CLIP 中发现的多模态神经元为我们提供了一条线索，说明什么可能是合成和自然视觉系统的共同机制——抽象。我们发现 CLIP 的最高层将图像组织为一个松散的语义概念集合，为模型的多功能性和表示的紧凑性都提供了简单的解释。 利用可解释性工具，我们首次深入了解了 CLIP 权重中存在的丰富视觉概念。在 CLIP 中，我们发现了高级概念，涵盖了人类视觉词汇的大部分子集——地理区域、面部表情、宗教符号、名人等等。通过探测每个神经元如何影响下游，我们可以了解 CLIP 如何执行分类。 我们的论文基于近十年来对卷积网络解释的研究，从观察到许多这些经典技术直接适用于 CLIP 开始。我们采用两种工具来理解模型的激活：*特征可视化*，通过对输入进行基于梯度的优化来最大化神经元的放电；*数据集示例*，查看数据集中神经元激活最大的图像分布。 利用这些简单的技术，我们发现 CLIP RN50x4（使用 EfficientNet 缩放规则扩展 4 倍的 ResNet-50）中的大多数神经元都容易被解释。事实上，这些神经元似乎是"多面神经元"的极端例子，这些神经元对多个不同的情况做出反应，只是在更高的抽象级别上。 令我们惊讶的是，我们发现许多这些类别似乎与在颞叶内侧中的神经元相似，这些神经元在配备颅内深层电极的癫痫患者中有文献记载。这些包括对情绪、动物和名人做出反应的神经元。 但我们对 CLIP 的调查揭示了许多更奇异而奇妙的抽象，包括似乎能够计数的神经元、对艺术风格做出反应的神经元，甚至对有数字篡改迹象的图像做出反应的神经元。 虽然这项分析显示了广泛的概念，但我们注意到简单的神经元级别分析无法完全代表模型行为的文档。例如，CLIP 的作者已经展示了该模型能够进行非常精确的地理定位，其粒度精确到城市甚至街区级别。事实上，我们有一个趣事：通过在 CLIP 中运行我们自己的个人照片，我们注意到 CLIP 经常能识别照片是否在旧金山拍摄，有时甚至能识别街区（例如"Twin Peaks"）。 然而，尽管我们尽力了，我们还是没有找到"旧金山"神经元，从归因来看，旧金山似乎也不能很好地分解为像"加州"和"城市"这样有意义的单元概念。我们相信这些信息被编码在模型激活的某处，但以更异国的方式，要么作为方向，要么作为其他更复杂的流形。我们认为这是进一步研究的一个富有成果的方向。 这些多模态神经元可以让我们深入了解 CLIP 如何执行分类。通过稀疏线性探针，我们可以轻松检查 CLIP 的权重，以查看哪些概念结合起来实现 ImageNet 分类的最终分类。 对于文本分类，一个关键的观察是，这些概念包含在神经元中的方式类似于 word2vec 目标，是*几乎线性的*。因此，这些概念形成了一个表现得像线性探针的简单代数。通过线性化注意力，我们也可以检查任何句子，就像线性探针一样。 CLIP 中抽象的程度面临了一个新的攻击向量，我们认为这在以前的系统中还没有出现过。像许多深度网络一样，模型最高层的表示完全由这样的高级抽象支配。然而，CLIP 的不同之处在于程度的问题——CLIP 的多模态神经元跨越字面和象征性进行泛化，这可能是一把双刃剑。 通过一系列精心设计的实验，我们展示了我们可以利用这种还原行为来愚弄模型做出荒谬的分类。我们观察到 CLIP 中的神经元激活通常可以通过其对*文本图像*的响应来控制，提供了一个简单的攻击向量。 例如，金融神经元对存钱罐的图像做出反应，但也对字符串"$$$"做出反应。通过强制金融神经元放电，我们可以愚弄我们的模型将狗分类为存钱罐。 我们将这些攻击称为*排版攻击*。我们相信如上所述的攻击远不仅仅是学术问题。通过利用模型稳健阅读文本的能力，我们发现即使*手写文本的照片*也经常能够愚弄模型。像对抗补丁一样，这种攻击在现实中有效；但与这样的攻击不同，它除了笔和纸之外不需要任何技术。 我们也相信这些攻击可能也会以更微妙、更隐蔽的形式出现。给定 CLIP 的图像会以许多微妙和复杂的方式被抽象化，这些抽象可能会过度抽象化常见模式——过度简化，因此过度泛化。 我们的模型尽管是在互联网精选子集上进行训练的，但仍然继承了其许多未被检查的偏见和关联。我们发现的许多关联似乎是良性的，但我们也发现了几个案例，其中 CLIP 拥有可能导致代表性伤害的关联，例如贬低某些个人或群体。 例如，我们观察到一个"中东"神经元与恐怖主义的关联；和一个对拉丁美洲做出反应的"移民"神经元。我们甚至发现了一个对深肤色人士和大猩猩都有反应的神经元，反映了我们认为不可接受的其他模型中之前的照片标记事件。 这些关联对这样强大的视觉系统的应用提出了明显的挑战。无论是微调还是零样本使用，这些偏见和关联很可能会保留在系统中，其影响在部署期间以可见和几乎看不见的方式表现出来。许多有偏见的行为可能很难提前预测，使其测量和更正变得困难。我们相信这些可解释性工具可能会帮助从业者通过提前发现一些这些关联和歧义的能力来抢先解决潜在问题。 我们对 CLIP 的理解仍在不断发展，我们仍在确定我们是否以及如何发布 CLIP 的大型版本。我们希望进一步社区探索已发布的版本以及我们今天宣布的工具将有助于推进对多模态系统的普遍理解，并为我们自己的决策提供信息。 与"人工神经网络中的多模态神经元"的发布同时，我们也发布了我们自己用来理解 CLIP 的一些工具——OpenAI Microscope 目录已使用特征可视化、数据集示例和文本特征可视化更新，用于 CLIP RN50x4 中的每个神经元。我们也发布了 CLIP RN50x4 和 RN101 的权重，以进一步促进此类研究。我们相信这些对 CLIP 的调查只是理解 CLIP 行为的冰山一角，我们邀请研究社区加入我们，改进我们对 CLIP 和类似模型的理解。