大型文学语料库自动主题索引：基于机器学习方法的伏尔泰全集研究

# 大型文学语料库的自动主题索引：以伏尔泰全集为例的机器学习方法
来源：https://arxiv.org/html/2607.09316  
\[2\]Gillian Pink

###### 摘要

主题索引——即为文本段落分配结构化概念标签的做法——对于大型文学和历史版本的学术检索至关重要，然而它仍然主要是一个手动劳动密集型过程。本文探讨了机器学习在自动主题索引中的应用，以伏尔泰全集中两个重要的子语料库作为测试案例：《论各民族的风俗与精神》和《百科全书问题》。该任务被构建为一个多标签分类问题，模型必须能够分配专业索引员在给定页面上会应用的索引条目集。我们比较了一系列方法——从带有分类头的编码器模型到通过低秩适配（LoRA）微调的生成式大语言模型（LLM）——涵盖约30亿到1200亿参数的不同规模。我们表现最佳的模型来自Mistral系列，采用4位量化配置，F1分数高达0.67；我们认为这些数字代表了下限，因为专业索引本身固有的主观性，以及模型预测与印刷索引存在分歧时，在语义上仍然经常是有效的。我们进一步评估了跨语料库的泛化能力，并对源文本中那些特别难以自动处理的文学和修辞特征进行了详细的模型行为定性分析。我们的发现对于为大型文学和历史语料库提供结构化主题访问这一更广泛的挑战具有启示意义。

## 1 引言

数字版本乃至更广泛的数字化文本的一个基本假设是，它们天然就是可访问的——这不仅是因为数字渠道极大地扩展了它们的可用性，而且因为它们本质上是可搜索的。然而，将可搜索性与可访问性等同起来值得审视。全文搜索尽管功能强大，但它提供了一种出奇狭窄的文本语料库交互模式：它预设读者已经知道要查找什么术语。用户带着查询问题而来；文本要么回应，要么不回应。而任何更丰富意义上的发现，很大程度上只能依靠运气[whitelaw2012towards]。

相比之下，传统学术出版长期以来依赖一种完全不同的工具。一个精心构建的分析索引既不是索引词典，也不是任何机械意义上的查找辅助工具：它是一张文本内容的地图，由专业索引员编制，通常具有专业知识，他们通读整部作品，识别关键概念和主词条，并随着作品的成型逐步完善类别和子类别的结构。其结果在质量上不同于通过搜索功能所能实现的效果——它是一种结构化的邀请，鼓励横向阅读、浏览、概念导航以及那种关键词查询无法可靠产生的偶然发现[stephen2009print, hjorland2018indexing]。

然而，对于大型语料库来说，手动索引很快变得成本高昂或根本不可行。《伏尔泰全集》[voltaire_ocv]就是一个具有启发性的案例。这部由伏尔泰基金会历时55年出版的版本，共205卷印刷本，约一千五百万词，涵盖了伏尔泰在文学、哲学、历史、论战等各个领域的全部作品[cronk2023rediscovering]。该项目的庞大规模造成了真正的访问问题：语料库中的大部分单篇作品对于非专业人士来说仍然默默无闻，即使是伏尔泰的终身读者，如果没有结构化工具的引导，也难以在其全部著作的广袤范围内自如浏览。现在，编辑项目已经完成，一个最新的在线版本也已推出111https://www.ov-vf.com，如何让这一文本集合真正做到可访问（而不仅仅是可搜索），这个问题变得具有新的现实意义[Barker_Cronk_Roe_2026]。

自动索引——广义上理解为文本分类——为此挑战提供了一个潜在的解决方案。在有监督机器学习的更广泛领域中，这是一个成熟但技术上要求很高的任务[sebastiani2002, dhar2021text]。其最常见的表述是：训练一个分类算法，使其能够识别与目标索引术语相关的特征，通常利用手动索引文档集内的词汇或语义相似性度量；然后，它将自己学到的知识应用于为先前未见过的文本分配术语。该方法适用于训练数据丰富、文档在长度、语域和主题上相对同质的领域。

然而，将这些方法应用于更复杂的文本则没那么直接[duncan2022, p. 250]，而文学和历史语料库尤其困难。像《伏尔泰全集》这样的文集位于一个极其不均匀的信息空间中：单个文档长度从寥寥数行诗歌到几百页史学散文不等，整个语料库的语义范围——涵盖纯文学、哲学论战、私人通信、物理学和圣经批评——远远超出了大多数文本分类系统开发和评估所使用的标准基准语料库。相比之下，新闻专线、专利申请和生物医学摘要等该领域的主力数据类型则整洁得多。

本文介绍了一系列自动主题索引实验，应用于《伏尔泰全集》的两个重要子语料库：九卷本的《论各民族的风俗与精神》（EM）和八卷本的《百科全书问题》（QE）。这两部作品都有作为印刷版一部分编制的详细分析索引，我们将其用作多标签分类任务的真实训练数据。问题框架如下：给定来自其中一部作品的一页文本（保持页面单位以便与印刷索引兼容和可比性），机器学习模型能否正确分配专业索引员会应用的成套主题索引条目？

我们比较了一系列方法，从带有分类头的编码器模型到通过低秩适配（LoRA）微调的生成式大语言模型（LLM）[hu2022lora]。我们的实验涵盖了不同规模的模型——从约50亿到超过1200亿参数——并系统地评估了标签频率、数据集构成和架构选择对分类性能的影响。我们还进一步评估了在一个作品上训练的模型对另一个作品的泛化能力，提供了对分布外健壮性的初步衡量。

我们的发现表明，微调的生成式LLM——特别是采用4位量化配置的Mistral-Small-3.2-24B模型——在这一任务上提供了最有希望的结果，在过滤低频率标签后，在QE数据集上达到了高达0.67的F1分数。然而，这些结果也突显了问题的难度：人文学科索引典型的严重偏斜标签分布，加上源文本的语义丰富性和体裁多样性，给当前模型提出了只能部分解决的挑战。我们讨论了这些局限性，并反思它们对于自动索引大型文学和历史语料库这一更广泛目标的启示。

本文结构如下。第2节（https://arxiv.org/html/2607.09316#S2）将本研究置于自动文本分类、多标签学习和计算索引的相关研究背景中。第3节（https://arxiv.org/html/2607.09316#S3）描述数据集和预处理流程。第4节（https://arxiv.org/html/2607.09316#S4）详细介绍我们的方法，并呈现三个模型比较阶段的实验结果。第5节（https://arxiv.org/html/2607.09316#S5）讨论我们的发现对更广泛的人文学科文本集合的启示，第6节（https://arxiv.org/html/2607.09316#S6）总结。

## 2 相关工作

自动为文学和历史文本生成主题索引的任务位于几个活跃研究领域的交汇处：自动文本分类、多标签学习、计算索引以及自然语言处理（NLP）在历史文本集合中的应用。我们依次回顾每个领域，并将我们的贡献定位于当前技术现状之中。

### 2.1 自动文本分类

文本分类——即向文档分配预定义类别标签——几十年来一直是信息检索和自然语言处理中的核心问题[kadhim2019survey]。该领域的方法论基础在[sebastiani2002]中得到了全面综述，涵盖了文档表示、降维、分类器构建和评估，至今仍是重要的参考点。直到21世纪初，主导范式依赖于词袋表示结合诸如支持向量机（SVM）、朴素贝叶斯和k近邻等分类器[manning2008]。这些方法在标准基准测试（路透社新闻专线、20 Newsgroups）上取得了强劲的结果，但通常是在单标签或二元分类设置中设计和评估的，即每个文档属于一个类别或需要与另一个类别区分开来。

深度学习的出现带来了文本分类方法学的根本性转变。卷积和循环神经网络展示了直接从原始文本中学习层次化特征表示的能力，摒弃了手工特征工程，转而采用端到端训练[kim2014, zhang2015]。更具变革性的转变来自于基于Transformer的预训练语言模型的引入：从BERT[devlin2019]开始，一种新范式出现，其中在大量未标记语料库上预训练的大型模型随后在任务特定数据上进行微调。这种迁移学习方法在广泛的NLP基准测试中取得了最先进的结果，文本分类尤为突出[sun2019, howard2018]。

### 2.2 多标签分类

然而，在许多现实世界的分类场景中，包括本文涉及的主题索引任务，每个实例可能同时与多个标签相关联。因此，多标签分类引入了超出标准单标签设置的独特挑战：标签共现依赖性、类别不平衡以及可能标签集的组合爆炸。[tsoumakas2007]提供了一个有影响力的领域综述，区分了问题转化方法（将多标签分类简化为一系列二分类任务）和算法适应方法（修改现有分类器以原生处理多标签）。[gibaja2015]提供了更近期和全面的处理，涵盖评估度量、标签相关性建模和可扩展性考虑。

多标签分类中的一个持久挑战是标签的长尾分布：在大多数现实世界数据集中，少数标签占据着不成比例的实例份额，而绝大多数标签仍然罕见[huang2021balancing]。这个问题在人文学科索引中尤为突出，因为其分析词汇既广泛又粒度精细。我们自己的数据集清晰地说明了这一点：QE索引中75%的标签出现次数少于7次，EM中51%的标签出现次数少于3次。解决标签不平衡的策略包括加权损失函数、标签感知采样以及选择性移除低频标签——这些都是在我们的实验中探索的方法。

### 2.3 自动索引

尽管对出版商、图书馆和数字档案库具有实际用途，但自动生成书后索引或主题索引这一特定任务所受到的关注相对少于一般文本分类。该领域的基础框架由[lancaster2003]提出，它区分了赋词索引（应用受控词汇中的术语）和抽词索引（从文本中提取术语），并且至今仍是任何系统处理该问题的必要起点。[csomai2008]研究了使用无监督方法（TF-IDF、KL散度）和具有语言特征的有监督学习进行自动书后索引，证明了该任务需要同时关注命名实体和概念术语——这种区别对于我们这里处理的这类主题索引尤为重要。更近期地，[golub2019]回顾了自动主题索引的现状，审视了自动分类与叙词表和分类法等受控词汇之间的关系，并指出了系统生成的索引与专业策划的索引之间持续存在的差距。

我们的工作与先前许多文献在一个基本方面有所不同：我们不将索引视为一个术语提取问题。我们不是识别文本中的显著短语并将其提升为索引条目，而是将任务构建为一个封闭词汇的多标签分类问题，其中所有可能的索引条目集由现有印刷索引预先定义，模型必须学会为每一页分配正确的子集。这种表述更接近于图书馆学传统中的主题索引，而非通常理解的书后索引，并且它使我们能够同时利用《伏尔泰全集》精心策划的分析索引作为训练信号和评估标准。

### 2.4 针对历史文本的NLP

近年来，将NLP方法应用于历史文本的研究大幅增长，这得益于数字化馆藏日益增多以及语言模型能力的进步[piotrowski2012natural]。这类工作的一个重要方向聚焦于历史文档中的命名实体识别（NER）和链接。在CLEF评估论坛内组织的HIPE共享任务[ehrmann2020, ehrmann2022]为历史报纸上的NER建立了多语言基准，并突出了此类文本特有的一系列挑战：OCR噪声、古体拼写、演变的命名实体以及大规模带注释训练集的稀缺。这些挑战与我们在处理18世纪法语文学散文时遇到的挑战大致类似，其中拼写惯例、编辑注释以及历史和地理引用的密度都使分类任务复杂化——不过我们的设置通过上述长尾、语义细粒度的标签空间增添了额外难度。

除了NER，分类和聚类方法已被应用于一系列历史文本分析任务。体裁分类受到了持续关注，[underwood2019]证明了机器学习模型可以追踪文学体裁的长期演变，但需要大量的训练数据，