半监督文本分类的对抗训练方法

# 半监督文本分类的对抗训练方法 来源: https://openai.com/index/adversarial-training-methods-for-semi-supervised-text-classification/ OpenAI## 摘要 对抗训练提供了一种正则化有监督学习算法的方法，而虚拟对抗训练能够将有监督学习算法扩展到半监督设置中。然而，这两种方法都需要对输入向量的众多条目进行微小扰动，这对于诸如 one-hot 词表示这样的稀疏高维输入来说是不合适的。我们通过对循环神经网络中的词嵌入应用扰动，而不是对原始输入本身应用扰动，将对抗训练和虚拟对抗训练扩展到文本领域。所提出的方法在多个基准半监督和纯有监督任务上取得了最先进的结果。我们提供了可视化和分析，展示了学习到的词嵌入质量的提高，以及在训练过程中模型不太容易过拟合。代码可在 https://github.com/tensorflow/models/tree/master/research/adversarial_text 获取。