标签
本文整理并发布了针对亚美尼亚语的开放数据集和模型，展示了通过新闻和STEM数据进行持续预训练可以提高性能，并解决低资源NLP中的数据稀缺问题。
本文系统研究了基于扰动的持续预训练（CPT）在提升多语言大语言模型零样本方言鲁棒性方面的作用，比较了德语、意大利语和阿拉伯语中的六种训练条件。研究发现，字符级噪声CPT是最有效的通用策略，并揭示了不同扰动方法会引发不同的鲁棒性机制。
本文介绍了Hidden Decoding，这是一种针对LLM的序列长度扩展方法，通过将每个令牌扩展为多个具有独立嵌入表的流，并在每个令牌内增加内部计算，同时使用Stream-Factorized Attention来保持低成本。在多达617B参数的模型上的实验显示，该方法较基线有一致的改进，展示了一条实用的固定骨干扩展路径。
Riazi-8B是一个针对数学推理微调的乌尔都语大语言模型，通过在乌尔都语思维链数据上持续预训练和监督微调，在MGSM-Urdu上实现了性能提升。