基于BERT的模型与大型语言模型在低资源命名实体识别中的比较：以马拉地语为例

# 基于BERT的模型与大型语言模型在低资源命名实体识别中的对比研究：以马拉地语为例
来源：https://arxiv.org/html/2607.23344
Hariom Ingle1,3 Ronit Ghode1,3 Ishwari Gondkar1,3 Jidnyasa Harad1,3 Raviraj Joshi2,3
1印度浦那PICT信息技术系 2印度金奈印度理工学院马德拉斯分校 3印度浦那L3Cube实验室
ravirajoshi@gmail\.com (https://arxiv.org/html/2607.23344v1/[email protected])

###### 摘要

针对马拉地语等低资源语言的命名实体识别（NER）因标注资源有限和语言复杂性而仍然是一项具有挑战性的任务。尽管近期的大型语言模型（LLMs）在广泛的自然语言处理任务中展现出强大性能，但它们在低资源场景下对特定语言NER的有效性仍不确定。在本研究中，我们在MahaNER数据集的不同变体上微调MahaBERT-v2，并系统性地将这些模型的性能与现有MahaNER基线以及几个通用大型语言模型（包括Gemini、LLaMA-3.3-70B和Gemma模型）进行比较。所有模型均使用精确率、召回率和F1分数等标准指标在马拉地语NER测试数据集上进行评估。实验结果表明，基于微调MahaBERT的模型在各项指标上始终优于基线模型和所有评估的LLM，微调模型的F1分数范围为0.88至0.91，超越了现有MahaNER模型（0.8843），并显著超过基于LLM的方法（其F1分数范围为0.57至0.69）。这些发现表明，针对特定任务、聚焦语言的模型，在领域相关数据上训练后，对于马拉地语NER仍然比通用LLM更有效，凸显了专门架构在低资源语言处理中的持续重要性。

基于BERT的模型与大型语言模型在低资源命名实体识别中的对比研究：以马拉地语为例

Hariom Ingle1,3 Ronit Ghode1,3 Ishwari Gondkar1,3 Jidnyasa Harad1,3 Raviraj Joshi2,3
1印度浦那PICT信息技术系 2印度金奈印度理工学院马德拉斯分校 3印度浦那L3Cube实验室
ravirajoshi@gmail\.com (https://arxiv.org/html/2607.23344v1/[email protected])

## 1 引言

命名实体识别（NER）是自然语言处理（NLP）中的一项基础任务，涉及识别文本中的人名、组织名、地名等预定义类别实体并对其进行分类（Li 等人，2022 (https://arxiv.org/html/2607.23344#bib.bib12)）。NER是信息抽取、问答、机器翻译和知识图谱构建等下游应用中的关键组件。尽管在高资源语言（如英语）上取得了显著进展，但为低资源语言开发稳健的NER系统仍然是一个持续的挑战。

马拉地语是一种印度-雅利安语系语言，主要使用于印度马哈拉施特拉邦，母语使用者超过8300万人。它是印度主要表列语言之一，并拥有官方语言地位。尽管使用者众多，但在NLP领域，马拉地语仍被视为低资源语言（Joshi, 2022b (https://arxiv.org/html/2607.23344#bib.bib16)）。这是因为与英语、法语甚至印地语相比，它拥有较少的标注语料库、较少的预训练语言模型以及相对较少的NLP工具。马拉地语还具有独特的语言复杂性，包括丰富的词形变化、屈折变化和灵活的语序，所有这些都使得NER等任务更加困难。

马拉地语NER尤其困难，原因有几点相互关联。首先，马拉地语具有丰富的形态学特征，一个单词根据其语法角色可以有不同的形式，这增加了词汇量，使模型更难泛化。其次，与英语不同，用天城文书写的马拉地语不使用大写字母，这去除了英语NER模型用于检测专有名词的一个强烈信号（Sang and Meulder, 2003 (https://arxiv.org/html/2607.23344#bib.bib15)）。第三，马拉地语灵活的语序允许主语、动词和宾语在句子中出现不同位置，使得位置特征对实体检测的可靠性降低。第四，特别是在数字和社交媒体中，马拉地语文本经常混合印地语和英语单词，通过代码混合引入了额外的歧义。最后，可用的大型手工标注马拉地语NER数据集非常少，这限制了依赖数据的深度学习模型的训练，并加剧了上述所有挑战。

在本工作中，我们通过在MahaNER数据集（Litake 等人，2022 (https://arxiv.org/html/2607.23344#bib.bib3)）上，在不同训练配置下微调L3Cube-MahaBERT v2模型（Joshi, 2022a (https://arxiv.org/html/2607.23344#bib.bib2)）的变体来应对这些挑战。我们专门研究了两种数据增强策略（自拼接和随机拼接）对上下文长度扩展的影响。在自拼接方法中，每个训练句子在单个输入序列内重复多次（4×或10×）。在随机拼接方法中，将多个不同的句子组合成一个更长的序列。我们将由此产生的模型变体命名为MahaNER-normal-repeat-4x、MahaNER-normal-repeat-10x、MahaNER-random-repeat-4x和MahaNER-random-repeat-10x。

然后，我们将这些微调后的模型与在零样本设置下评估的几个通用大语言模型进行比较，包括Gemini、LLaMA-3.3-70B（Dubey 等人，2024 (https://arxiv.org/html/2607.23344#bib.bib7)）和Gemma（Gemma Team 等人，2024 (https://arxiv.org/html/2607.23344#bib.bib8)）。目标是了解针对特定任务的微调模型是否在马拉地语NER上仍然比强大的通用LLM具有优势，以及数据增强在提高NER性能中扮演什么角色。

本文的主要贡献如下：

- • 我们使用不同的数据增强策略微调并评估了多个基于MahaBERT-v2的NER模型。
- • 我们将微调后的马拉地语NER模型与最先进的LLM在零样本设置下进行了比较。
- • 我们发现，针对特定语言的微调模型在马拉地语NER上显著优于通用LLM。
- • 我们详细分析了训练数据增强如何影响不同测试集上的模型性能。

## 2 相关工作

### 2.1 NER系统的演变

NER有着悠久的研究历史，涵盖了基于规则、统计和神经方法（Li 等人，2022 (https://arxiv.org/html/2607.23344#bib.bib12)）。早期的NER系统使用手工编写的规则和词典。这些系统需要大量人工劳动，并且不能很好地泛化到新领域或语言。统计模型如隐马尔可夫模型（HMM）和最大熵分类器随后通过学习标注数据中的模式取代了基于规则的系统。条件随机场（CRF）通过建模输出标签之间的依赖关系进一步改进了结果，使其非常适合序列标注任务如NER（Lample 等人，2016 (https://arxiv.org/html/2607.23344#bib.bib13)）。像CoNLL-2003（Sang and Meulder, 2003 (https://arxiv.org/html/2607.23344#bib.bib15)）这样的基准数据集在推动这些方法的进展中发挥了核心作用。

深度学习的兴起带来了显著改进。卷积神经网络（CNN）和长短期记忆网络（LSTM），特别是双向LSTM（BiLSTM），被证明可以直接从数据中学习有用的文本表示。这些模型减少了对手工特征的需求。将BiLSTM与CRF解码层相结合成为NER领域流行且强大的方法（Lample 等人，2016 (https://arxiv.org/html/2607.23344#bib.bib13)）。

Transformer-based models (Vaswani 等人，2017 (https://arxiv.org/html/2607.23344#bib.bib5)) 的引入，从BERT (Devlin 等人，2019 (https://arxiv.org/html/2607.23344#bib.bib1)) 开始，从根本上改变了该领域。BERT通过在大型文本语料库上使用掩码语言建模进行预训练，学习单词的深度上下文表示。在NER数据集上微调BERT在多种语言和基准测试中持续取得最先进的结果。后续模型如RoBERTa (Liu 等人，2019 (https://arxiv.org/html/2607.23344#bib.bib11)) 和T5 (Raffel 等人，2020 (https://arxiv.org/html/2607.23344#bib.bib14)) 进一步推进了预训练方法，表明更好的训练目标和更多数据能够持续提高包括NER在内的下游任务性能。

### 2.2 马拉地语NLP资源

过去几年，马拉地语NLP受到了越来越多的关注。L3Cube-MahaCorpus提供了大型马拉地语文本语料库，MahaBERT在此语料库上预训练，创造了第一个马拉地语专用BERT模型 (Joshi, 2022a (https://arxiv.org/html/2607.23344#bib.bib2))。该模型在马拉地语下游任务上显著优于多语言BERT（mBERT）。

MahaNER (Litake 等人，2022 (https://arxiv.org/html/2607.23344#bib.bib3)) 提供了第一个大规模手工标注的马拉地语NER数据集。它定义了包括人名、组织和地点在内的实体类别，并表明基于MahaBERT的模型以明显优势优于mBERT和XLM-R (Conneau 等人，2020 (https://arxiv.org/html/2607.23344#bib.bib6)) 等多语言替代方案。后来的工作通过L3Cube-MahaSocialNER数据集 (Chaudhari 等人，2023 (https://arxiv.org/html/2607.23344#bib.bib4)) 引入了马拉地语社交媒体NER，突出了低资源场景下非正式文本和代码混合的挑战。

### 2.3 LLM用于NER

诸如GPT-4、LLaMA (Dubey 等人，2024 (https://arxiv.org/html/2607.23344#bib.bib7)) 和Gemma (Gemma Team 等人，2024 (https://arxiv.org/html/2607.23344#bib.bib8)) 等大语言模型在零样本或少样本设置下，在许多NLP任务上展现出令人印象深刻的表现 (Brown 等人，2020 (https://arxiv.org/html/2607.23344#bib.bib9))。思维链提示 (Wei 等人，2022 (https://arxiv.org/html/2607.23344#bib.bib10)) 进一步提高了LLM在复杂任务上的推理能力。然而，对于需要精确词元级标注的结构化预测任务如NER，LLM通常表现不佳。它们可能产生不一致的输出格式，遗漏实体边界，或无法一致地遵循标注指令。这个问题在低资源语言中更为突出，因为LLM的预训练数据在这些语言上很稀疏。尽管存在这些已知限制，但微调的马拉地语NER模型与最先进的LLM之间的系统比较之前尚未进行。我们的工作填补了这一空白。

## 3 数据集

### 3.1 MahaNER语料库

本文的所有实验均基于MahaNER语料库 (Litake 等人，2022 (https://arxiv.org/html/2607.23344#bib.bib3))，这是马拉地语命名实体识别的主要基准数据集。MahaNER通过手工标注马拉地语新闻文本中的实体标签构建而成，标注约定类似于CoNLL-2003 (Sang and Meulder, 2003 (https://arxiv.org/html/2607.23344#bib.bib15))。该数据集涵盖标准NER实体类型，包括人名（PER）、组织（ORG）和地点（LOC），以及一些其他类别。它是最大且使用最广泛的已标注马拉地语NER资源。

该语料库使用非IOB标注方案，每个词元被赋予以下标签类型之一：

- • TYPE：词元是给定类型的命名实体（例如PER、ORG、LOC）。
- • O：词元不在任何命名实体中。

表1 (https://arxiv.org/html/2607.23344#S3.T1) 显示了MahaNER语料库的大致大小和实体分布。

表1：本研究中使用的MahaNER语料库的关键属性。
### 3.2 测试数据集变体

从MahaNER语料库中衍生出三个测试数据集变体用于评估。表2 (https://arxiv.org/html/2607.23344#S3.T2) 总结了每个变体及其构建策略和目标。

表2：MahaNER衍生的测试数据集。每个变体针对模型鲁棒性的不同方面。
Normal数据集是MahaNER的标准测试划分，具有自然发生的实体分布，未做修改。它用作主要比较基线。

Normal Repeat 4x数据集通过将每个测试句子在单个序列中重复四次构建而成。这测试了当相同句子在更长的输入中出现多次时，模型是否能做出一致的预测。

Random Repeat 4x数据集通过将四个不同的测试句子随机组合成一个输入序列构建而成。这引入了每个序列内更多样化的实体模式，并测试了模型对不同上下文的鲁棒性。

### 3.3 训练数据增强

为了研究训练数据增强的效果，使用上述相同的重复策略，从MahaNER训练划分创建了多个增强训练集。对于normal-repeat和random-repeat策略，使用了4×和10×的重复因子。这些增强训练集在训练期间让模型接触到更长的输入序列，这可能会提高在更长测试序列上的性能。重要的是，增强仅应用于训练数据；所有测试集保持原始形式不变。

## 4 方法

本节描述我们评估的两类系统：针对特定任务的微调模型和零样本大型语言模型。图1 (https://arxiv.org/html/2607.23344#S4.F1) 给出了完整评估流程的概览。

马拉地语句测试句（500句）
微调MahaBERT-v2
零样本LLM
（基础模型，normal-repeat-4x, normal-repeat-10x, random-repeat-4x, random-repeat-10x）
（Gemini, LLaMA-3.3-70B, Gemma-2-9B, Gemma-2-27B）
词元级评估
（精确率，召回率，F1）
图1：评估流程概览。微调的MahaBERT模型和零样本LLM均在相同的500句马拉地语句子上进行测试，并使用相同的指标进行评估。

### 4.1 任务专用NER模型

所有任务专用模型均基于L3Cube-MahaBERT v2架构 (Joshi, 2022a (https://arxiv.org/html/2607.23344#bib.bib2))，这是一个在大型马拉地语单语语料库上预训练的BERT模型 (Devlin 等人，2019 (https://arxiv.org/html/2607.23344#bib.bib1))。微调时，在预训练编码器之上添加一个词元分类头，该分类头为每个输入词元分配一个非IOB的NER标签。

使用不同的增强训练集训练了五个微调模型变体：

1. 1. MahaNER基础模型：在原始MahaNER训练集上训练，未使用任何增强。
2. 2. MahaNER-normal-repeat-4x：每个训练句子在一个序列中重复4次。这增加了序列长度并重复相同的上下文。
3. 3. MahaNER-normal-repeat-10x：同上，但每个序列重复10次，创建更长的输入。
4. 4. MahaNER-random-repeat-4x：将四个随机选择的训练句子组合成一个序列。这使得模型在单个训练步骤中接触到不同的上下文。
5. 5. MahaNER-random-repeat-10x：将十个随机选择的句子组合。这为每个训练序列提供了最大的上下文多样性。

图2 (https://arxiv.org/html/2607.23344#S4.F2) 说明了两种增强策略之间的区别。

自拼接 (SC)：句子A 句子A 句子A 句子A （相同句子×4）
随机拼接 (RC)：句子A 句子B 句子C 句子D （不同句子）