使用能量函数学习概念

# 使用能量函数学习概念 来源：https://openai.com/index/learning-concepts-with-energy-functions/ 人类智能的许多显著特征，如从有限经验中进行泛化、抽象推理和规划、类比推理、创意问题解决以及语言能力，都需要将经验整合成*概念*的能力。概念作为理解和推理的基本构建块而发挥作用。我们的技术使智能体能够从任务中学习和提取概念，然后在各个领域的其他任务中使用这些概念。例如，我们的模型可以将在二维粒子环境中学到的概念用于三维物理模拟机器人环境中执行相同的任务——**无需在新环境中重新训练。** 这项工作使用能量函数让智能体学会*分类*和*生成*简单概念，它们可以用于解决在不同环境中两点之间导航等任务。概念的例子包括视觉概念（"红色"或"正方形"）、空间概念（"内部"、"在...上方"）、时间概念（"缓慢"、"之后"）、社交概念（"好斗的"、"乐于助人的"）等。这些概念一旦学到，就能作为智能体理解和推理的基本构建块，正如来自 DeepMind（在新窗口中打开） (https://deepmind.com/blog/imagine-creating-new-visual-concepts-recombining-familiar-ones/) 和 Vicarious（在新窗口中打开） (https://www.vicarious.com/2018/02/07/learning-concepts-through-sensorimotor-interactions/) 的其他研究所示。 为了创建能量函数，我们将概念在数学上表示为*能量模型*（在新窗口中打开） (http://yann.lecun.com/exdb/publis/pdf/lecun-06.pdf)。能量模型的思想源于物理学，其直观理解是观察到的事件和状态代表低能配置。 我们为每个概念定义能量函数 E(x, a, w)，其中包括： - 模型观察到的世界状态 (x) - 该状态中实体上的*注意力掩码*（在新窗口中打开） (http://akosiorek.github.io/ml/2017/10/14/visual-attention.html) (a) - 一个连续值向量 (w)，用作条件化，指定计算能量的概念 世界状态由实体集及其属性和位置组成（如下面的点，具有位置和颜色属性）。注意力掩码用于"识别"，代表模型对某些实体集的关注。能量模型输出单个正数，表示概念是否满足（能量为零时）或不满足（能量高时）。当注意力掩码聚焦于代表一个概念的实体集合时，概念得到满足，这既要求实体处于正确位置（x 的修改或生成），也要求关注的实体正确（a 的修改或识别）。 我们基于*关系网络架构*（在新窗口中打开） (https://arxiv.org/abs/1706.01427) 将能量函数构造为神经网络，这使其可以接受任意数量的实体作为输入。该能量函数的参数是由我们的训练过程优化的对象；其他函数隐式地从能量函数中推导出来。 这种方法使我们能够使用能量函数学到的单个网络来执行**生成和识别两者**。这使我们能够交叉使用从生成中学到的概念进行识别，反之亦然。（注：这种效应已在动物中通过*镜像神经元*（在新窗口中打开） (https://www.ncbi.nlm.nih.gov/pubmed/21227300) 观察到。） 我们的训练数据由（注意力掩码、状态）的轨迹组成，我们提前为想让模型学习的特定概念生成这些轨迹。我们通过为模型提供给定概念集的一组演示（通常为 5 个），然后给它一个新环境 (X0) 并要求它预测下一个状态 (X1) 和下一个注意力掩码 (a) 来训练我们的模型。我们优化能量函数，使得在训练数据中找到的下一个状态和下一个注意力掩码被赋予低能值。类似于*变分自编码器*（在新窗口中打开） (https://arxiv.org/abs/1606.05908) 等生成模型，该模型受到激励学习能够有用地压缩任务方面的值。我们使用涉及视觉、空间、邻近和时间关系以及二维粒子环境中的量化的多种概念来训练我们的模型。 我们在一套任务中评估了我们的方法，这些任务旨在查看我们的单一系统能够多好地学习识别和生成由相同概念统一的事物；我们的系统可以学习对特定空间关系集进行分类和生成，或者可以以特定方式通过场景导航实体，或者可以对数量（一个、两个、三个或三个以上）或邻近性等概念做出良好判断。