linguistic-diversity

文章探讨了大型AI模型在小语种和地方方言上的表现不佳问题：训练数据不足导致翻译生硬怪异，并可能把用户推向主流语言。文章提出AI公司是否应承担支持小语种的责任，即使缺乏商业回报。

文章提出，数据集中的类型多样性解释了Transformers为何在结构组合泛化方面表现不佳，并通过改变COGS和SLOG数据集中的多样性来验证这一点。

本研究论文探讨了大型语言模型如何导致语言多样性下降，并强调了潜在的文化和社会风险。

本文提出结构引导实体解析（SGER）框架，通过课程学习微调大语言模型，在语言多样化环境中实现鲁棒的人名匹配，在印度身份数据上达到99.02%准确率，并已在Dream11部署。