matryoshka

本文介绍了m3BERT，一种多语言双向编码器，采用新颖的预训练策略，联合优化跨Transformer层和多个嵌入维度的表示，使得单个模型能够适应不同的资源约束。在Bing-Click工业检索数据集上，它显著优于现有最优模型。