标签
介绍了一种名为Uncheatable Eval的动态基准测试方法，该方法利用压缩率评估语言模型性能，并能有效缓解数据污染问题。
本文提出了ModelLog，一个声明式概率框架，用于评估语言模型，通过对令牌预测定义语义约束，并通过共享语义将评估与学习联系起来。
本文介绍了WinoQueer-NL，一个用于评估语言模型对LGBTQ+身份偏见的荷兰数据集，并发现模型输出存在显著差异，特别是对跨性别和非二元身份的刻板印象更为有利。