southeast-asian-languages

DuDi 是一个双信号多语言蒸馏框架，结合序列级与词元级信号以及跨语言词语化器，旨在提升小型语言模型在东南亚语言上的表现。在 SEA-HELM 上的实验表明，DuDi 在多个模型系列和规模设置下均能持续超越具有竞争力的蒸馏基线方法。