标签
该论文介绍了 BLiMP-RO,这是一个罗马尼亚语最小对立句对基准,涵盖 50 种语法现象,包含 493 对由语言学家构建并经人工验证的句对,以及 5,942 对半自动生成的句对,并研究了训练数据和模型架构(GPT-2 与 GPT-BERT)如何影响罗马尼亚语中的语法泛化能力。
一项兰卡斯特大学的研究以预训练Transformer模型对超长英国金融年报(FNS 2020数据集)上的摘要方法进行基准测试,对比了多种评价指标,提出了新的BRUGEscore指标(ROUGE-2与BERTscore的调和平均值),并通过统计显著性检验与对抗性扰动分析验证了实验结果。
本文介绍了HistoriQA-ThirdRepublic,一个基于法兰西第三共和国历史文献的法语多跳问答数据集,旨在评估检索增强和大型语言模型系统在历史研究场景中的表现。
介绍了LAUKIN,一个包含来自澳大利亚、英国和印度合同的条款对数据集,标注了法律等价性。评估了12个模型,宏平均F1分数达到65.11%,建立了一个具有挑战性的基准。