标签
Q2D-Web是一个大规模的基准和排行榜,用于评估网络搜索中的检索模型,具有1.9亿文档和查询,涵盖十种语言,并采用方法以最小化偏差并降低评估成本。
介绍ALEE,一个使用抽象意义表示生成具有受控语义偏移的英语极小对的框架,并将其翻译用于评估275+种语言的文本嵌入,揭示了跨语言语义表示中持续存在的差距。
一项研究评估了六款商业AI聊天机器人在基于BBC新闻的六种语言事实性问题上的表现,发现多项选择题准确率高,但自由回答准确率显著下降,其中检索错误导致超过70%的失败,并揭示了区域偏差。