标签
研究人员基于 90 亿个词元的开放数据，训练了参数规模从 1200 万到 10 亿不等、基于 ModernBERT 的冰岛语编码器。结果表明，从头训练的 10 亿参数模型在全部十一项任务上均优于 IceBERT，而以英语 Ettin 编码器进行热启动的模型在所有基准测试中均取得了最佳成绩，同时凸显了词表移植的重要性。