byt5

来自Meta的一篇研究论文表明，字节级语言模型最初逊于基于令牌的模型，但随着计算资源的增加，它们可以超越后者。这通过在高达1万亿字节上训练的精炼10亿参数模型得到展示。

本文研究了弱监督ByT5微调用于重音感知的句子级菲律宾语字素到音素转换，在人工修正的测试集上显著降低了音素和字符错误率。

TabletCraft 是一个开源系统，支持阿卡德语与英语之间的双向神经机器翻译，并具备楔形文字渲染功能，使用户既能阅读古代泥板，也能用楔形文字撰写新消息。该系统已被 ACL 2026 的 C3NLP 研讨会接收，并首次公布了英语到阿卡德语翻译的量化结果。

介绍了一个针对严重资源匮乏的Tangkhul-英语语言对的神经机器翻译系统，通过微调ByT5-large和mT5-small模型，在BLEU、chrF++、BERTScore和COMET评分上取得了优异成绩。