标签
OpenAI 提出了一种两阶段方法来改进语言理解:首先在大规模无监督数据集上使用语言建模对 transformer 模型进行预训练,然后在较小的有监督数据集上针对特定任务进行微调。该方法在包括常识推理、语义相似度和阅读理解在内的多种任务上取得了最先进的成果,同时需要的超参数调优工作最少。
OpenAI 展示了一个无监督系统,通过训练乘法 LSTM 来预测亚马逊评论中的下一个字符,学习情感表示。该系统在斯坦福情感树库(Stanford Sentiment Treebank)上实现了最先进的情感分析效果(91.8% 准确率),同时所需的标注样本比监督学习方法少 30-100 倍。模型发现了一个独特的'情感神经元',能够捕捉情感信息,可以直接操纵来控制文本生成的情感。
OpenAI 提出了一种无监督第三人称模仿学习方法,使智能体能够从不同视角的演示中学习,无需显式的状态对应,利用域混淆技术来学习视角无关的特征。
# 变分有损自编码器 来源: [https://openai.com/index/variational-lossy-autoencoder/](https://openai.com/index/variational-lossy-autoencoder/) ## 摘要 表示学习旨在将观测数据的某些方面暴露在学习表示中,这种表示便于分类等下游任务。例如,对于二维图像,一个好的表示可能是只描述全局结构并丢弃有关详细纹理信息的表示。在本文中,我们提出
OpenAI 发布了关于生成式模型的概览,将其作为开发机器理解世界的方法,解释了这些模型如何通过学习生成与训练集相似的数据来工作,以及它们在各个领域的潜在应用。