nlp-benchmark

标签

Cards List
#nlp-benchmark

BLiMP-RO:罗马尼亚语语言学最小对立对基准

arXiv cs.CL ↗ · 6天前 缓存

该论文介绍了 BLiMP-RO,这是一个罗马尼亚语最小对立句对基准,涵盖 50 种语法现象,包含 493 对由语言学家构建并经人工验证的句对,以及 5,942 对半自动生成的句对,并研究了训练数据和模型架构(GPT-2 与 GPT-BERT)如何影响罗马尼亚语中的语法泛化能力。

0 人收藏 0 人点赞
#nlp-benchmark

基于Transformer的长篇金融叙事性文档摘要评价指标对比研究

arXiv cs.CL ↗ · 2026-10-08 缓存

一项兰卡斯特大学的研究以预训练Transformer模型对超长英国金融年报(FNS 2020数据集)上的摘要方法进行基准测试,对比了多种评价指标,提出了新的BRUGEscore指标(ROUGE-2与BERTscore的调和平均值),并通过统计显著性检验与对抗性扰动分析验证了实验结果。

0 人收藏 0 人点赞
#nlp-benchmark

HistoriQA-ThirdRepublic:面向历史研究的多跳问答语料库——基于法兰西第三共和国(1870-1940)议会辩论

arXiv cs.AI ↗ · 2026-07-01 缓存

本文介绍了HistoriQA-ThirdRepublic,一个基于法兰西第三共和国历史文献的法语多跳问答数据集,旨在评估检索增强和大型语言模型系统在历史研究场景中的表现。

0 人收藏 0 人点赞
#nlp-benchmark

LAUKIN:一个跨司法管辖区的普通法合同数据集

arXiv cs.CL ↗ · 2026-06-12 缓存

介绍了LAUKIN,一个包含来自澳大利亚、英国和印度合同的条款对数据集,标注了法律等价性。评估了12个模型,宏平均F1分数达到65.11%,建立了一个具有挑战性的基准。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈