标签
该论文提出了并行预训练（PPT），将文档及其译文拼接在同一个训练序列中，并发现，在相同的词元预算下，先进行 PPT、再进行标准预训练的两阶段方法，相比标准预训练，能够持续提升通用语言理解能力和跨语言表现。