标签
本文考察了不同评估设置选择如何影响基础语言模型的基准测试：在四种语言中，针对26个20亿参数模型及更大规模的大语言模型，分析了8个设计方面，并提出将单调性、非随机性和排名一致性作为元度量，以指导预训练期间可靠评估设置的选择。