southeast-asian-languages

本文系统比较了涵盖11种东南亚语言的公平性分词器在多语言大语言模型中的表现，发现Parity-aware BPE在效率与公平之间取得了最佳平衡，并且跨语言公平性与分词效率并非根本冲突。

DuDi 是一个双信号多语言蒸馏框架，结合序列级与词元级信号以及跨语言词语化器，旨在提升小型语言模型在东南亚语言上的表现。在 SEA-HELM 上的实验表明，DuDi 在多个模型系列和规模设置下均能持续超越具有竞争力的蒸馏基线方法。