一种可复现的、面向Katharevousa希腊语议会文本的Universal Dependencies风格流水线

# 可复现的卡萨雷乌萨希腊语议会文本通用依赖风格流水线*

*源代码、参考标注、固定划分和基准报告均已在 https://github.com/gmikros/katharevousa-nlp-tooling 开源发布。XLM-R 配置的模型版本计划在 Hugging Face Hub 上以项目名称 kathnlp 发布。

来源：https://arxiv.org/html/2605.22978

###### 摘要

卡萨雷乌萨希腊语（Katharevousa Greek）在法律、行政和议会档案中具有重要意义，但当代 NLP 流水线对其支持不足。我们提出了一种可复现的工作流，用于构建和评估针对希腊后军政府时期早期议会质询的通用依赖（Universal Dependencies）风格解析资源。该流水线整合了 OCR 感知重建、模式约束的 LLM 辅助标注、自动验证、确定性 CoNLL-U 快照生成、固定划分评估以及模型家族比较。冻结的自动验证参考集包含 1,697 个句子，划分为 1,357 个训练句和 340 个保留测试句。我们在相同评分协议下比较了现成的希腊语和古希腊语解析器、基于特征的解析器、mBERT、XLM-R 以及自定义 Stanza 训练结果。现成系统表现出显著的语域不匹配：最强的外部基线 spaCy Greek 的 LAS 达到 0.4183。最佳结构解析器 XLM-R 模型在 UPOS 准确率上达到 0.8893，依存关系 F1 达到 0.7250，UAS 达到 0.6098，LAS 达到 0.5162，相比最佳外部基线，LAS 绝对提升了 0.0980。基于特征的模型在 UPOS 和关系标注方面仍具竞争力，表明在此数据规模下，透明的词汇-上下文特征仍然重要。除了得分，本文还贡献了一种可审计的方法论，用于将困难的历史议会 OCR 转化为可复用的句法 NLP 基础设施。整个流水线——代码、模式、冻结参考标注、固定训练/测试划分以及每个模型的基准报告——均作为本文的开放获取配套资源发布。

关键词：卡萨雷乌萨希腊语；历史 NLP；低资源依存解析；通用依赖；议会语料库；OCR；可复现性；开源发布。

## 1 引言

大规模多语言 NLP 系统已将句法分析扩展到多种语言，但历史语域往往仍在其有效覆盖范围之外。卡萨雷乌萨希腊语是一个特别有代表性的案例。它既不是古希腊语，也不是当代现代希腊语：它将官方现代机构词汇与拟古形态、法律套语以及当前希腊语 NLP 训练数据中代表性不足的句法结构结合在一起。这种不匹配对数字档案造成了影响。希腊军政府后民主转型时期的议会记录中包含具有历史重要性、语言正式且计算处理困难的书面质询。此前对该档案的数字人文研究表明，计算分析可以从 OCR 导出的书面议会质询中恢复党派风格、主题结构和语域变异[7 (https://arxiv.org/html/2605.22978#bib.bib7)]。下一个瓶颈是句法基础设施：没有可靠的解析器，关于论元结构、机构行动者、政策主张和历时语域变迁的下游工作仍然脆弱。

本文为卡萨雷乌萨议会文本开发了一个可复现的依存解析流水线，并将其作为开放获取配套库 kathnlp 发布在 https://github.com/gmikros/katharevousa-nlp-tooling。贡献不仅仅是模型得分。它是一个可管控的研究工作流，将噪声的 OCR 派生材料转换为固定的、可检查的参考快照，并在共享协议下评估多个模型家族。我们做出四项贡献：

1. 我们定义了一个端到端重建和自动验证标注工作流，用于卡萨雷乌萨希腊语议会文本，输出 UD 风格的 CoNLL-U 格式，并附带用于卡萨雷乌萨特有词汇、正字法和语域现象的侧车元数据。
2. 我们发布了一个固定评估协议，针对 1,697 句的参考集，包括确定性训练/测试划分，以及针对外部模型、基于特征的模型、Transformer 模型和基于 Stanza 的模型的基准报告。
3. 我们通过实验表明，现有的希腊语和古希腊语解析器无法直接迁移到卡萨雷乌萨议会句法，而一个小型自定义 XLM-R 解析器将 LAS 相对最佳外部基线提升了 0.0980。
4. 我们将流水线打包为开源 Python 项目（kathnlp），使本文中的每一项实证声明都可追踪到发布仓库中的脚本、配置文件和基准报告。

结果有意同时报告正向和负向优化结果。在低资源历史 NLP 中，这一点很重要：通往可用解析器的路径不仅包括获胜配置，还包括使最终结果可复现的失败调度、框架约束和验证决策。

## 2 背景与相关工作

### 2.1 卡萨雷乌萨与议会档案

卡萨雷乌萨是希腊的一种拟古官方语域，介于现代公共行政与古典语言声望之间。在议会和法律场景中，它作为机构权威的标志，但也指涉了现代希腊引发保守派、自由派与左翼传统分歧的政治语言问题[5 (https://arxiv.org/html/2605.22978#bib.bib5)]。本文使用的书面议会质询来自第三希腊共和国初期，即 1974 年民主恢复后，以及 1976 年语言改革（该改革用现代希腊语取代了卡萨雷乌萨作为官方语言）前后。之前的配套研究描述了更广泛的档案：1976–1977 年间 1,338 份 OCR 导出的书面质询，筛选出 1,009 份经过验证的文本，以及一个用于党派层次文体测量和主题建模的 646 文档分析样本[7 (https://arxiv.org/html/2605.22978#bib.bib7)]。该工作为当前的 NLP 任务提供了动机：需要句法工具才能从表层特征转向对行动者、关系和机构话语的可复用分析。

### 2.2 通用依赖与低资源解析

通用依赖（UD）为分词、形态和依存句法提供跨语言一致的表示[8 (https://arxiv.org/html/2605.22978#bib.bib8)]。CoNLL-U 提供稳定的交换格式，包含句子级注释和词元级标注字段，如 FORM、LEMMA、UPOS、FEATS、HEAD 和 DEPREL[11 (https://arxiv.org/html/2605.22978#bib.bib11)]。UD 对卡萨雷乌萨具有吸引力，因为它允许我们在共享表示下比较现代希腊语、古希腊语和自定义模型。同样的选择也暴露了一个艰难的迁移问题：卡萨雷乌萨同时具有现代和前现代希腊语的特征，但议会语域与任一种资源家族都不完全相同。

低资源依存解析长期以来依赖跨语言迁移、多语言表示以及对小型树库的谨慎利用[3 (https://arxiv.org/html/2605.22978#bib.bib3),12 (https://arxiv.org/html/2605.22978#bib.bib12),4 (https://arxiv.org/html/2605.22978#bib.bib4)]。多语言编码器如 mBERT[2 (https://arxiv.org/html/2605.22978#bib.bib2)] 和 XLM-R[1 (https://arxiv.org/html/2605.22978#bib.bib1)] 是自然候选，因为它们通过更广泛的跨语言监督对希腊语进行编码。然而，当目标语域包含 OCR 噪声、拟古形态和机构套语时，仅靠迁移并不能保证成功。因此，我们比较了预训练系统、自定义神经模型以及一个透明的基于特征的基线，而不是假设 Transformer 会在所有指标上占据优势。

### 2.3 历史 OCR 与约束标注

历史 NLP 流水线常常在建模开始前就失败：OCR 错误、换行伪影、历史拼写和不一致的元数据可能扭曲分析单位[10 (https://arxiv.org/html/2605.22978#bib.bib10),6 (https://arxiv.org/html/2605.22978#bib.bib6)]。配套的 DSH 手稿描述了档案漏斗以及更广泛的计算文体工作流，包括多调音符标准化、党派元数据丰富以及用于元数据和主题标签的人工验证的 LLM 辅助[7 (https://arxiv.org/html/2605.22978#bib.bib7)]。当前工作以不同方式使用 LLM：作为 UD 风格句法记录的约束标注基础设施。由于 LLM 输出可能偏离模式、产生格式错误的 JSON 或静默违反树约束，我们将它们视为嵌入在验证、重试和确定性冻结步骤中的标注辅助工具。最终自动验证的快照作为本文实验的固定参考集。

## 3 数据

### 3.1 来源档案

源材料包括 1976–1977 年间的书面议会质询，这一时期希腊议会监督在独裁统治后正在重建。这些文档源自 OCR，属于配套数字人文论文研究的同一档案。该档案结合了文档退化、OCR 不确定性、党派元数据缺失、多调与单调正字法变异，以及一个介于古希腊语和现代希腊语 NLP 资源之间的语域。为了句法建模，发布的流水线从导出的文档和电子表格源中重建答题文本，然后准备句子级标注集。

### 3.2 重建

仓库将重建工作流编码为可执行脚本（scripts (https://github.com/gmikros/katharevousa-nlp-tooling/tree/main/scripts)）：

- 从原始导出中提取答案文件文本；
- 预处理换行连字符、分词合并、句子边界周围的标点以及长列举句；
- 对元数据字段应用稳定性检查；

这种设计将档案重建与模型训练分离。最终的树库不是一个实验的临时输出；它是一个带有清单的版本化工件，允许后续模型重用相同的划分和评分协议。

### 3.3 参考快照

冻结的参考集包含 1,697 个句子。其中 1,565 个来自主批次路径，132 个来自重试替换。固定划分使用种子 42，包含 1,357 个训练句和 340 个保留测试句。保留测试集包含 4,093 个词元。表 1 (https://arxiv.org/html/2605.22978#S3.T1) 总结了用于建模的数据。快照及其清单发布在 data/processed/final_gold/gold_final.conllu (https://github.com/gmikros/katharevousa-nlp-tooling/blob/main/data/processed/final_gold/gold_final.conllu) 和 data/processed/final_gold/snapshot_manifest.json (https://github.com/gmikros/katharevousa-nlp-tooling/blob/main/data/processed/final_gold/snapshot_manifest.json)。

表 1：参考快照与固定划分。

| 项目 | 数量 |
|------|------|
| 冻结参考句子 | 1,697 |
| 批次来源句子 | 1,565 |
| 重试替换句子 | 132 |
| 训练句子 | 1,357 |
| 保留测试句子 | 340 |
| 保留测试词元 | 4,093 |

## 4 标注与验证

### 4.1 表示

我们使用 UD 风格的 CoNLL-U 字段进行句法建模：FORM、LEMMA、UPOS、FEATS、HEAD 和 DEPREL。仓库模式（configs/annotation_schema.yaml (https://github.com/gmikros/katharevousa-nlp-tooling/blob/main/configs/annotation_schema.yaml)）遵循 UD v2 类别，并添加了面向卡萨雷乌萨的侧车字段，用于古语词类、正字法来源、遗留形态标志和法律语域标记。这些侧车字段并非在所有模型运行中直接使用，但它们记录了驱动该任务的语言现象：活跃的与格形式、不定式残留、古语介词支配、分词结构、套语开头以及机构头衔。

### 4.2 LLM 辅助标注协议

标注流水线（scripts/build_gpt_gold_dataset.py (https://github.com/gmikros/katharevousa-nlp-tooling/blob/main/scripts/build_gpt_gold_dataset.py)、scripts/resume_gpt_gold_batches.py (https://github.com/gmikros/katharevousa-nlp-tooling/blob/main/scripts/resume_gpt_gold_batches.py)、scripts/retry_failed_gold_dataset.py (https://github.com/gmikros/katharevousa-nlp-tooling/blob/main/scripts/retry_failed_gold_dataset.py)）使用模式约束的批量生成，并具备基于偏移的进度跟踪、可恢复状态、重试队列、对接近有效的 JSON 的保守解析，以及在记录进入冻结快照之前进行验证。这个操作层是贡献的核心。历史低资源标注常常因微小未记录的决策而失败：一个格式错误的批次、一个改变的划分或一次静默重试都可能改变下游得分。在此，重试替换被计数，最终清单锚定了所有实验使用的确切参考文件。

标注是自动验证的，而非完全由专家裁夺。因此，该资源被定义为一个冻结参考标注集：一个稳定的基准快照，适用于受控模型比较、错误分析和针对性的未来人工裁夺。采样的语言学家审阅正在进行中，并将作为同一工件的版本更新发布。

## 5 模型

### 5.1 外部基线

- spaCy Greek：el_core_news_lg；
- Stanza Greek 预训练流水线：tokenize, pos, lemma, depparse；
- Stanza Ancient Greek PROIEL：grc_PROIEL。

Stanza 是一个神经多语言 NLP 工具包，提供预训练的标记化、标注、词形还原和依存解析流水线[9 (https://arxiv.org/html/2605.22978#bib.bib9)]。所有系统均在相同参考词元边界上进行评估，并使用相同的评估代码（src/kathnlp/evaluation/metrics.py (https://github.com/gmikros/katharevousa-nlp-tooling/blob/main/src/kathnlp/evaluation/metrics.py)）评分。这隔离了标注和依存决策与句子和词元切分的差异。

### 5.2 自定义模型

自定义模型集包括四个家族。基于特征的逻辑解析器（src/kathnlp/training/models.py (https://github.com/gmikros/katharevousa-nlp-tooling/blob/main/src/kathnlp/training/models.py)、scripts/train_and_evaluate.py (https://github.com/gmikros/katharevousa-nlp-tooling/blob/main/scripts/train_and_evaluate.py)）使用丰富的词汇-上下文特征和学习的主标签。XLM-R 解析器（src/kathnlp/training/transformer_parser.py (https://github.com/gmikros/katharevousa-nlp-tooling/blob/main/src/kathnlp/training/transformer_parser.py)、scripts/train_transformer_parser.py (https://github.com/gmikros/katharevousa-nlp-tooling/blob/main/scripts/train_transformer_parser.py)）使用 xlm-roberta-base，训练三个 epoch，批次大小 4，学习率 2×10^{-5}，权重衰减 0.01，最大序列长度 256。mBERT 运行使用 bert-base-multilingual-cased，六个 epoch，批次大小 8，warmup，以及弧强调损失权重。自定义 Stanza 模型（scripts/train_stanza_custom.py (https://github.com/gmikros/katharevousa-nlp-tooling/blob/main/scripts/train_stanza_custom.py)）训练 POS 和依存组件，具有严格的 CoNLL-U 处理和 600 步训练预算。

表 2：主要模型配置。

## 6 评估

我们报告四项指标：

- UPOS 准确率；
- 加权依存关系 F1；
- UAS，未标注依存得分；
- LAS，标注依存得分。

LAS 是主要的结构度量，因为下游对句法敏感的分析需要正确的中心和关系标签。UPOS 和 DEPREL F1 另行报告，以便