encoder

CrossBERT将表示学习与令牌重构解耦，实现更高的掩码比例和更好的样本效率，在MTEB和GLUE基准测试上超越BERT。

本文介绍了LeanGuard，一种基于轻量级双向编码器的安全护栏，在匹配更大规模推理式护栏精度的同时，速度提升约100倍，挑战了“链式推理对于有效审核必不可少”的假设。

文章描述了 libdeflate 新的级别13，这是一种故意减慢的 DEFLATE 压缩级别，在 Silesia 数据集上仅能实现微不足道的压缩提升（0.134%），但代价是比级别12慢56倍，专为数据压缩一次、解压多次的场景设计。

本文介绍了m3BERT，一种多语言双向编码器，采用新颖的预训练策略，联合优化跨Transformer层和多个嵌入维度的表示，使得单个模型能够适应不同的资源约束。在Bing-Click工业检索数据集上，它显著优于现有最优模型。