通过无监督学习改进语言理解

# 通过无监督学习改进语言理解 来源：https://openai.com/index/language-unsupervised/ 我们的系统分两个阶段工作：首先，我们在大量数据上以无监督的方式训练一个 Transformer 模型——使用语言建模作为训练信号——然后在更小的有监督数据集上微调该模型，以帮助它解决特定任务。我们在之前的[情感神经元](https://openai.com/index/unsupervised-sentiment-neuron/)工作基础上开发了这种方法，在该工作中我们发现无监督学习技术在足够的数据上训练时能够产生出人意料的判别特征。在这里，我们想进一步探索这个想法：我们能否开发一个模型，以无监督的方式在大量数据上训练它，然后微调该模型以在许多不同的任务上实现良好性能？我们的结果表明这种方法出人意料地有效；同一个核心模型可以以最少的适配微调用于非常不同的任务。 这项工作建立在[半监督序列学习](https://arxiv.org/abs/1511.01432)引入的方法基础上，该方法展示了如何通过使用 LSTM 的无监督预训练后跟有监督微调来改进文档分类性能。它也扩展了 [ULMFiT](https://arxiv.org/abs/1801.06146) 的研究，该研究展示了如何将单个数据集无关的 LSTM 语言模型微调为在各种文档分类数据集上获得最先进性能；我们的工作展示了如何使用基于 Transformer 的模型在这种方法中成功处理超越文档分类的更广泛的任务范围，例如常识推理、语义相似性和阅读理解。它也类似于但比 [ELMo](https://allennlp.org/elmo) 更加任务无关，后者采用预训练但使用任务定制的架构在广泛的任务套件上获得最先进的结果。 我们用很少的调整就取得了这些结果。所有数据集都使用单个前向语言模型，没有任何集成，大多数报告的结果使用完全相同的超参数设置。 我们特别兴奋的一个结果是我们的方法在三个数据集上的性能——[COPA](http://people.ict.usc.edu/~gordon/copa.html)、[RACE](https://arxiv.org/abs/1704.04683) 和 [ROCStories](http://cs.rochester.edu/nlp/rocstories/)——这些数据集旨在测试常识推理和阅读理解。我们的模型在这些数据集上以很大的优势获得了新的最先进结果。这些数据集被认为需要多句推理和重要的世界知识才能解决，这表明我们的模型主要通过无监督学习改进了这些技能。这表明通过无监督技术开发复杂的语言理解能力是有希望的。