低资源NLP评估中的注释稀缺悖论：加速十年与新兴约束

# 低资源NLP评估中的标注稀缺悖论：加速十年与新兴约束
来源：https://arxiv.org/html/2605.19066

###### 摘要

在过去十年中，低资源自然语言处理（NLP）经历了爆炸性增长，这得益于跨语言迁移、大规模多语言模型以及评估基准的快速普及。然而，这一明显进步掩盖了一个关键且未得到充分审视的张力：评估日益复杂的生成系统所需的深层社会语言学专业知识正承受严重压力、分布不均且在结构上被边缘化。我们提出了一项对低资源NLP评估（2014年至今）的批判性叙事综述，追溯其三个阶段的演变：早期的启发式乐观主义、自上而下基准扩展的幻象，以及当前的生成式瓶颈时代。我们将“标注稀缺悖论”概念化——即当扩展模型的技术能力远超真实评估所需的主权人类基础设施时产生的结构性摩擦。通过审视抽取式数据管道、报酬不足的“幽灵工作”和语言数据爆发，我们论证这一悖论威胁着所报告进展的认知有效性。我们考察了新兴的应对措施——包括数据增强、基于模型的评估、参与式策展，以及通过项目反应理论和主动学习实现的高效标注方法——并评估其在公平性和有效性上的权衡。最后，我们向从业者发出行动呼吁，认为克服这一瓶颈需要从交易性数据抽取向关系性、社区嵌入的评估范式转变，这种评估根植于认知治理、数据主权和共享所有权。

## 1 引言

过去十年，低资源自然语言处理领域涌现了大量工作（Joshi et al., 2020 (https://arxiv.org/html/2605.19066#bib.bib42)；Alabi et al., 2025 (https://arxiv.org/html/2605.19066#bib.bib11)；Belay et al., 2025 (https://arxiv.org/html/2605.19066#bib.bib13)）。共享任务、多语言基准测试及社区驱动的资源创建努力极大地扩展了拥有计算工具的语言集合。诸如 MasakhaNER（Adelani et al., 2022 (https://arxiv.org/html/2605.19066#bib.bib6)）、AfriSenti（Muhammad et al., 2023 (https://arxiv.org/html/2605.19066#bib.bib53)）、AmericasNLP 共享任务（Mager et al., 2021 (https://arxiv.org/html/2605.19066#bib.bib50)）和 SEACrowd（Lovenia et al., 2024 (https://arxiv.org/html/2605.19066#bib.bib48)）等项目，体现了这一运动的雄心与影响力。

然而，基准测试的快速积累和报告的性能提升掩盖了一种结构性脆弱：支撑这一进步的评估管道严重依赖于人类标注者、语言学家和社区成员，而他们的能力有限、劳动常常得不到报酬、参与度也往往很浅。随着评估数据需求的扩大，生产高质量标注所需的人力基础设施并未跟上。雪上加霜的是，大语言模型时代声称的收益仍不成比例地流向高资源语言（Blasi et al., 2022 (https://arxiv.org/html/2605.19066#bib.bib20)；Ahuja et al., 2023 (https://arxiv.org/html/2605.19066#bib.bib9)；Adelani et al., 2025 (https://arxiv.org/html/2605.19066#bib.bib7)；Ojo et al., 2025 (https://arxiv.org/html/2605.19066#bib.bib55)），从而拉大了技术上可能实现与世界上大多数语言实际可评估之间的差距。在该洲覆盖语言最全面的基准 AfroBench 上，最强的专有模型（GPT-4o）在64种非洲语言上的平均得分仅为59%（Ojo et al., 2025 (https://arxiv.org/html/2605.19066#bib.bib55)）——这一数字本身反映的只是非洲2123种语言（Adebara, 2025 (https://arxiv.org/html/2605.19066#bib.bib5)）中一个经过精心筛选、资源相对丰富的子集。

我们将此称为“标注稀缺悖论”，定义如下：

###### 定义 1（标注稀缺悖论）

当产生和扩展NLP模型的技术能力远超真实评估它们所需的人力基础设施（包括标注者可用性、深层语言专业知识、社区参与以及认知治理——即谁的知识重要）时，产生的结构性摩擦——这在非洲NLP语境中最为直接地体现，并且在其他资源不足的语言社区中也存在类似形式。这一悖论不仅是后勤上的，也是结构性的，它塑造了在低资源NLP中什么可以被认知、什么算作进步。

本综述做出以下贡献：

- •我们论证，低资源NLP评估在三个时间阶段（2014–2018，2019–2022，2023至今）的轨迹产生了一个*结构性*（而不仅仅是后勤上的）瓶颈，即进行可信评估所需的人类能力。
- •我们引入并操作化“*标注稀缺悖论*”这一概念框架，用以理解抽取式数据管道、报酬不足的标注劳动和数据主权缺失如何共同削弱所报告进展的认知有效性。
- •我们确定了从交易性数据抽取转向关系性、社区嵌入评估的具体方向，包括多元评估框架、透明的标注报告规范以及社区拥有的数据基础设施。

方法论说明。本综述采用批判性叙事综述方式（Snyder, 2019 (https://arxiv.org/html/2605.19066#bib.bib75)；Grant and Booth, 2009 (https://arxiv.org/html/2605.19066#bib.bib36)），选取代表性工作而非穷尽式语料库搜索。论文主要来自ACL、ACM会议及相关社区研讨会（AfricaNLP、AmericasNLP、WiNLP）的论文集，以及共享任务的系统描述论文。选择依据三个主题标准：记录低资源语言评估方法论或基准构建的论文；考察标注实践、社区参与或数据治理的论文；以及揭示领域结构性动态而不仅报告模型性能的论文。阶段划分反映公认的转折点：2019年标志着大规模多语言模型（mBERT（Devlin et al., 2019 (https://arxiv.org/html/2605.19066#bib.bib29)）、XLM-R（Conneau et al., 2020 (https://arxiv.org/html/2605.19066#bib.bib24)））和大型跨语言基准（XTREME（Hu et al., 2020 (https://arxiv.org/html/2605.19066#bib.bib40)））的出现；2023年标志着生成式评估范式的主导地位以及LLM-as-a-judge方法的兴起。作者一直是本文所述低资源NLP生态系统的积极参与者，尤其在非洲语言NLP社区中；这种立场既是对所提出主张的分析依据，也是对读者的透明度义务。

## 2 早期繁荣（2014–2018）：初步努力与乐观

2014至2018年间，该领域的特征是开拓性努力，旨在将NLP工具扩展到历史上主导该领域的少数高资源语言之外。早期工作侧重于为资源创建建立实用管道，并为先前服务不足的语言开发基本处理工具（King, 2015 (https://arxiv.org/html/2605.19066#bib.bib44)）。在此期间，全球南方的研究人员积极开始构建本地化基准，以确保非西方语言在日益增长的数据生态中得到代表。在非洲背景下，本地化机构努力奠定了关键基础；例如，Eiselen and Puttkammer (2014) (https://arxiv.org/html/2605.19066#bib.bib34) 为十种南非语言开发了基础文本语料库和核心处理技术。在东南亚，通过类似亚洲语言树库（Thu et al., 2016 (https://arxiv.org/html/2605.19066#bib.bib79)）这样的多国合作，也可见到类似的势头；在印度，研究人员构建了大规模开源数据集，例如IIT Bombay英印地平行语料库（Kunchukuttan et al., 2018 (https://arxiv.org/html/2605.19066#bib.bib46)）。

至关重要的是，这一阶段的高潮是认识到单纯的技术算法无法解决资源缺口（Nekoto et al., 2020 (https://arxiv.org/html/2605.19066#bib.bib54)；Hershcovich et al., 2022 (https://arxiv.org/html/2605.19066#bib.bib39)）。研究人员遇到的技术障碍，加上历史上数据收集实践中的剥削性摩擦，凸显了对数据主权和认知治理的迫切需求。这催化了草根运动的兴起，致力于增加土著语言在NLP认知话语中的参与。我们看到了Masakhane研究基金会——由非洲研究人员的合作努力直接推动——以及Widening NLP（WiNLP）在ACL的成立，这些都基于更广泛AI领域中草根运动的传统。

### 2.1 资源创建与早期基准

2014–2018年间，研究人员开始为非洲、亚洲和土著语言开发语料库和标注框架，通常与小型语言学家团队和社区志愿者合作。这一时期的兴奋是真实的：即使适度的数据集也能实现有意义的下游实验，而来自高资源语言的跨语言迁移似乎提供了一条可扩展的途径来覆盖更广范围。

这一时期技术进步的主要驱动力是跨语言迁移，它试图利用数据丰富的语言来弥合低资源环境中的数据缺口，通过跨语言映射表示（Adams et al., 2017 (https://arxiv.org/html/2605.19066#bib.bib4)）。与此同时，向神经机器翻译的转变引发了新的方法论探索，研究人员探索了能够通过跨多种语言共享句法和词汇表示来翻译低资源语言的通用模型（Gu et al., 2018 (https://arxiv.org/html/2605.19066#bib.bib37)）。这些技术进步很快与针对特定语系的本地化评估相结合。Abbott and Martinus (2018) (https://arxiv.org/html/2605.19066#bib.bib1) 为将神经机器翻译应用于非洲语言奠定了早期基础，强调了严重的数据稀疏性挑战以及神经架构克服这些挑战的潜力。类似地，Mager et al. (2018) (https://arxiv.org/html/2605.19066#bib.bib49) 描绘了美洲土著语言面临的独特形态和基础设施挑战，表明了对量身定制、针对性区域方法论日益增长的需求。

### 2.2 乐观及其局限

这一阶段的乐观基于一个隐含假设：跨语言迁移和自助式资源可以替代深入、针对特定语言的人力投入（Joshi et al., 2020 (https://arxiv.org/html/2605.19066#bib.bib42)）。这一假设很少受到批判性审视。虽然零样本架构和通用模型展示了数学上的巧妙，但它们经常将复杂的形态和句法现象简化为普遍主义框架，这天然偏向于高资源枢轴语言（通常是英语）（Mager et al., 2018 (https://arxiv.org/html/2605.19066#bib.bib49)）。

因此，语料库建设努力往往是机会主义的而非系统性的。该领域严重依赖抓取现成但范围狭窄的文本（如宗教翻译（Agić and Vulić, 2019 (https://arxiv.org/html/2605.19066#bib.bib8)）或政府会议录），导致了严重的领域不匹配和真正社会语言学代表性的缺失。这一时期很大程度上被自上而下、剥削性的自然语言处理方法所定义。语言常常被视为解决技术优化问题的数据点，与实际使用这些语言的社区脱节（Bird, 2020 (https://arxiv.org/html/2605.19066#bib.bib16)）。

由于这种脱节，研究生命周期中缺乏认知治理。构建模型的研究人员很少对语言有亲身体验，而生成数据的社区对其语言遗产的使用、许可或部署没有主权。标注团队规模很小，有时每种语言只有一名标注者，标注者间一致性报告也不一致（Mager et al., 2018 (https://arxiv.org/html/2605.19066#bib.bib49)）。

严格评估的基础原则上存在，但实践中很少得到充分实现。由于母语者基本上被排除在开发循环之外，评估严重依赖于应用于嘈杂、域外测试集的自动化指标，造成了经验进步的虚假感（Birhane et al., 2022 (https://arxiv.org/html/2605.19066#bib.bib18)）。最终，这一阶段的技术局限性使得算法进步无法超越社区驱动管理的根本需求变得越来越明显。这些历史上的剥削性实践所产生的摩擦凸显了NLP研究方式彻底调整的必要性，为社区主导的草根运动即将填补的真空创造了确切条件。

## 3 规模化挑战（2019–2022）：基准测试与进步的幻觉

2019年至2022年间，该领域进入基准测试快速扩散的阶段，主要由大规模多语言语言模型如mBERT和XLM-R的出现推动。共享任务成倍增加，多语言排行榜出现，标准化基准上的性能成为科学贡献的主要货币。然而，这种规模化往往掩盖了低资源语言处理方式中深层的根本性缺陷。

### 3.1 基准测试和共享任务的扩散

针对低资源语言的共享任务数量在此期间大幅增长。与主要会议（ACL、EMNLP、COLING）相关的研讨会举办了年度竞赛，吸引了大量投稿，并为低资源NLP研究带来了显著可见度。这一时期出现了基准测试方法的分化。一方面，像XTREME这样的庞大、自上而下的评估套件（Hu et al., 2020 (https://arxiv.org/html/2605.19066#bib.bib40)）试图创建跨语言泛化的通用指标。另一方面，草根倡议专注于从零开始构建真实数据集，这体现在AI4D语言项目的数据集创建挑战中（Siminyu et al., 2020 (https://arxiv.org/html/2605.19066#bib.bib70), 2021 (https://arxiv.org/html/2605.19066#bib.bib71); Orlic, 2021 (https://arxiv.org/html/2605.19066#bib.bib61)），这些挑战积极资助并构建了社区驱动的资源生成。

### 3.2 性能和可比性的压力

共享任务和总体排行榜的竞争动态产生了优化基准性能的强烈激励，这常常以牺牲更深入的社会语言学理解为代价。Rodriguez et al. (https://arxiv.org/html/2605.19066#bib.bib67)R