通过对比预训练的文本和代码嵌入

# 通过对比预训练的文本和代码嵌入 来源: https://openai.com/index/text-and-code-embeddings-by-contrastive-pre-training/ ## 摘要 文本嵌入在许多应用中都很有用，例如语义搜索和计算文本相似性。以往的工作通常训练针对不同用例定制的模型，在数据集选择、训练目标和模型架构上各不相同。在这项工作中，我们展示了在大规模无监督数据上进行对比预训练可以生成高质量的文本和代码向量表示。这些相同的无监督文本嵌入既能在线性探针分类中取得新的最先进结果，也能展示出令人印象深刻的语义搜索能力，有时甚至能与微调后的模型相竞争。在7个任务的线性探针分类准确率平均值上，我们最好的无监督模型相对于之前最好的无监督和监督文本嵌入模型分别实现了4%和1.8%的相对改进。相同的文本嵌入在大规模语义搜索评估中，相对于MSMARCO、Natural Questions和TriviaQA基准上之前最好的无监督方法分别实现了23.4%、14.7%和10.6%的相对改进。与文本嵌入类似，我们在(文本，代码)对上训练代码嵌入模型，相对于代码搜索领域之前最好的工作取得了20.8%的相对改进。