标签
本文表明，对于Muon优化器，不存在能在各种训练设置中一致适用的、有原则的批量大小缩放规则；即使经过大量调优，语言模型预训练的最佳优化器仍会随批量大小变化，因此优化器的设计与基准测试必须将批量大小纳入考量。
本文介绍了一种基于语言学的音素分词器，用于越南语和中文，该分词器将音节分解为声母、韵母和声调成分，从而减小词汇表大小并提高效率。所提出的PhonemicBERT模型在语言理解任务中与现有的分词器和预训练模型相比，展示了具有竞争力或更优的性能。