对齐更优，多样性下降？分析两代大语言模型的语法与词汇特征

# 更对齐，却更少多样性？分析两代大语言模型的语法与词汇

来源: https://arxiv.org/html/2605.06030
Adrián Gude¹ Roi Santos-Ríos¹\* \ast Francis Bond³ Dan Flickinger² Carlos Gómez-Rodríguez¹ Olga Zamaraeva¹ \{adrian.lopez.gude, roi.santos.rios, carlos.gomez, olga.zamaraeva\}@udc.es [email protected] [email protected] ¹Coruña大学, CITIC ²独立研究员 ³帕拉茨基大学, 奥洛穆茨

###### 摘要

本研究为日益增长的比较 LLM 生成文本与人类创作文本的研究领域做出了贡献，此处特指英语新闻文本。我们特别关注通过形式语法框架对句法属性进行评估。我们的分析在两个不同年份的两个人类创作的英语新闻数据集背景下，比较了两代 LLM。采用管约论短语结构语法（Head-Driven Phrase Structure Grammar, HPSG）形式体系，我们调查了 AI 生成文本的句法结构和词汇类型的分布，并将其与人类创作的《纽约时报》（NYT）文章中的相应分布进行对比。我们使用来自生态学和信息理论的多样性指标来量化语法结构和词汇类型的变化。我们表明，在给定的时间范围内，英语新闻文本的变化很小，而较新的 LLM 与较早的、非指令微调（non-instruction-tuned）模型相比，显示出句法多样性降低，尤其是词汇多样性降低。这些发现指向未来的研究工作，即研究指令微调的影响，虽然它能增强连贯性和对提示的遵循度，但可能会缩小模型输出的表达范围。

\useforestlibrary

linguistics \forestapplylibrarydefaultslinguistics

更对齐，却更少多样性？分析两代大语言模型的语法与词汇

Adrián Gude¹ Roi Santos-Ríos¹\* \ast Francis Bond³ Dan Flickinger² Carlos Gómez-Rodríguez¹ Olga Zamaraeva¹ \{adrian.lopez.gude, roi.santos.rios, carlos.gomez, olga.zamaraeva\}@udc.es [email protected] [email protected] ¹Coruña大学, CITIC ²独立研究员 ³帕拉茨基大学, 奥洛穆茨

## 1 引言

大语言模型（LLM）正越来越多地在日益广泛的语言和风格维度上与人类作家进行比较（例如，Reinhardt 等，2025 (https://arxiv.org/html/2605.06030#bib.bib5); Moon 等，2025 (https://arxiv.org/html/2605.06030#bib.bib6); Rashid 等，2024 (https://arxiv.org/html/2605.06030#bib.bib7)）。然而，目前尚不清楚应如何进行此类比较，以及哪些维度最能捕捉差异。这限制了我们得出关于人类与机器写作差异的稳健结论的能力。

在本文中，¹¹¹ Adrián Gude 和 Roi Santos-Ríos 对本工作贡献均等。两位作者均应被视为共同第一作者。我们迈出一步以解决这一差距，通过考察多样性——包括词汇和句法多样性——作为比较人类和 LLM 生成文本时一贯具有信息量的维度。基于管约论短语结构语法（HPSG）和英语资源语法（English Resource Grammar, ERG）的形式语法框架（Bender 等，2002 (https://arxiv.org/html/2605.06030#bib.bib47); Flickinger, 2011 (https://arxiv.org/html/2605.06030#bib.bib27)），我们利用来自生态学和信息理论的多样性指标（Shannon 和 Simpson 指数；Magurran 2004 (https://arxiv.org/html/2605.06030#bib.bib60); Stamatatos 2009 (https://arxiv.org/html/2605.06030#bib.bib44)）来分析句法结构和词汇类型的变化。

与之前的相关工作（Zamaraeva 等，2025 (https://arxiv.org/html/2605.06030#bib.bib4); Muñoz-Ortiz 等，2024 (https://arxiv.org/html/2605.06030#bib.bib2)）不同，我们比较了两代 LLM 和人类创作的新闻写作。在人类方面，我们分析了来自两个不同时期（2023 年和 2025 年）的《纽约时报》（NYT）导语段落。在 LLM 方面，我们将一套在 2023 年之前训练的基础模型（LLaMA, Mistral, Falcon）与更新颖的、经过指令微调且训练至 2024 年的模型（Qwen 2.5, Mistral 7B v0.3, GPT-4o, LLaMa 3.3）进行比较。

我们的结果表明，在所有多样性指标中，英语新闻文本随时间保持稳定，表明专业新闻散文在语法和词汇多样性方面保持着一贯的平衡。相比之下，在 LLM 生成文本中，我们观察到在较新的、经过指令微调的模型中，句法和词汇多样性均大幅下降，其中对词汇多样性的影响尤为显著。此外，较新的 LLM 文本更容易解析，且解析所需计算机内存更少。我们的发现表明，虽然指令微调旨在提高对自然语言提示的响应有用性和连贯性（Ouyang 等，2022 (https://arxiv.org/html/2605.06030#bib.bib62)），但它产生了减少输出句法和词汇广度的副作用。指令微调模型生成的输出在风格上比人类更窄、更少变化，有趣的是，也比早期的基础模型更窄、更少变化。

总体而言，我们的研究突出了多样性指标作为一种稳健的、以语言学为基础的方法，用于追踪模型世代之间的风格和语法转变，揭示当前的微调范式如何在词汇多样性和风格控制之间进行权衡。²²² 代码可用地址：https://github.com/olzama/llm-syntax/

## 2 相关工作

Muñoz-Ortiz 等人（2024 (https://arxiv.org/html/2605.06030#bib.bib2)）进行了一项大规模的定量分析，对比基础（非指令微调）LLM 生成的文本与人类撰写的新闻文本。他们的结果揭示了多个语言维度上的差异，包括形态、句法、心理测量和社会语言学方面。这些发现确立了一个详细的基线，突出了与模型生成文本相比，人类语言模式保持更多样化且更少同质化。

Zamaraeva 等人（2025 (https://arxiv.org/html/2605.06030#bib.bib4)）通过使用管约论短语结构语法（HPSG）和英语资源语法（ERG）在同一数据上进行的比较，进一步扩展了这一研究线索，在独立的语言学理论框架内提供了细粒度的视角。他们的研究表明，人类创作的文本具有更高的语法但*更低*的词汇多样性，且人类作家之间的差异大于他们各自与任何 LLM 之间的差异（换句话说，LLM 充当了“平均”作家）。

迄今为止，关于指令调优和来自人类反馈的强化学习（RLHF）对 LLM 语法多样性影响的研究很少。Padmakumar 和 He（2024 (https://arxiv.org/html/2605.06030#bib.bib56)）发现 RLHF 影响了跨 LLM 的词汇类型/令牌比率，导致文本更加同质化。对 RLHF 训练不同阶段的另一次评估显示，虽然与监督微调相比，RLHF 提高了分布外泛化能力，但它显著降低了通过 N-gram 计数、语义余弦相似度和自然语言推理指标组合测量的输出多样性，揭示了适应性与语言多样性之间的权衡（Kirke 等，2024 (https://arxiv.org/html/2605.06030#bib.bib57); Shypula 等，2025 (https://arxiv.org/html/2605.06030#bib.bib1)）。总结而言，先前的研究表明，虽然现代 LLM 在流畅性和指令跟随能力方面有所提高，但这些进步可能会以牺牲词汇和风格多样性为代价，即使在新系列的 LLM 中也是如此。相比之下，人类文本仍然表现出更大的多样性和更复杂的语言结构。

我们的研究在几个关键方面为此观点做出了贡献。首先，虽然之前的工作将单一世代的 LLM 与人类文本进行比较，或孤立地分析 RLHF 的影响，但我们直接比较了两代 LLM：较旧的基础模型和较新的、经过指令微调的模型。其次，我们在人类方面也采用了这种世代方法，将这些模型与来自两个相应时间段的人类创作新闻文本进行对比。此外，我们使用语言学理论语法框架，即 HPSG，提供了一种独立于自然语言处理任务的分析语言句法和词汇属性的方法，因此应该更加稳健/具有通用性。该框架允许我们以系统的方式查看词汇分布，超越了词汇计数提供的表面信息。HPSG 词汇类型是词型的复杂表示，指定了其句法行为的各个方面。我们不知道在例如 UD 框架中存在类似的资源；词性（POS）区分过于粗糙。最后但同样重要的是，我们采用了来自生态学的独立多样性指标。

## 3 方法论

我们使用例如 Zamaraeva 等人（2025 (https://arxiv.org/html/2605.06030#bib.bib4)）所采用的基于 HPSG 的框架，并重点关注来自生态学和信息理论的多样性指标，以量化语法和词汇可变性随时间的变化。

### 3.1 英语资源语法

本研究的目标是深入洞察 LLM 随时间推移在其写作的语法属性方面如何变化。为此，仅仅查看词汇是不够的，虽然查看如 Universal Dependencies（Nivre 等，2016 (https://arxiv.org/html/2605.06030#bib.bib34)）那样的依赖结构，如 Muñoz-Ortiz 等人（2024 (https://arxiv.org/html/2605.06030#bib.bib2)）所做的那样是有用的，但我们感兴趣的是在一个植根于形式语言学理论且不对 NLP 任务性能存在固有偏见的框架内进行比较。因此，我们选择 DELPH-IN HPSG 框架，遵循 Zamaraeva 等人（2025 (https://arxiv.org/html/2605.06030#bib.bib4)）。管约论短语结构语法（HPSG; Pollard 和 Sag, 1994 (https://arxiv.org/html/2605.06030#bib.bib33)）是一种由语言学家出于理论考虑和经验验证目的而开发的句法理论，这就是为什么该理论与完全明确的形式体系相关联，这些形式体系可以在计算机上完全实现，从而允许对关于句法的理论主张进行严格的验证。DELPH-IN³³³ https://delph-in.github.io/docs/home/Home/ 就是这样一个形式体系，它成熟为一个长期的国际语法工程努力。特别是，英语资源语法（ERG; Flickinger, 2000 (https://arxiv.org/html/2605.06030#bib.bib26), 2011 (https://arxiv.org/html/2605.06030#bib.bib27)）一直在持续发展并定期发布⁴⁴⁴ https://github.com/delph-in/erg/releases/tag/2025，在各种英语语料库上的平均准确率达到 94%。重要的是，与统计解析器不同，ERG 旨在为*所有可能的合乎语法的*英语句子提供结构，并*拒绝*那些不对应于合乎语法的英语话语的字符串。这对我们的方法论至关重要，因为我们希望能够在*罕见*的语言现象方面，而不仅仅是常见现象方面，以及在语法由于某些可能提供信息的原因而*未能*解析的句子方面，比较 LLM 之间以及 LLM 与人类作家之间的差异。HPSG/ERG 对我们来说重要的第二个属性是其结构：语法被表示为清晰的*句法和词汇类型*层次结构。类型定义是详细的 HPSG 结构，指定使结构成为可能的一组约束（例如：“这是一个动词，它需要两个补语，其中一个是名词”，作为一个简化的例子）。句法类型定义在解析时用于自下而上地“许可”短语，直到构建跨越整个输入字符串的完整句子（例如名词短语、动词短语……），而词汇类型仅在解析开始时由解析器使用，但提供了关于需要满足的具体约束的非常丰富的信息。从这个意义上说，词汇类型与仅代表单词的表面字符串的词汇项目截然不同。最后，基于语法的穷举图表解析为我们提供了洞察句子*可解析性*的窗口：解析特定句子有多容易或多困难，作为其复杂性的代理度量。

### 3.2 可移植性

虽然我们的实验侧重于英语，但基于语法的方法本身可以用于任何语言（值得注意的是，也可用于低资源语言）。HPSG 框架基于通用语言学理论，并不特定于英语，用于开发这些语法的工具同样是语言独立的。同时，每个实现的语法必然包括语言特定的层，这需要专家的努力来开发。因此，现有资源在其规模和覆盖范围上有所不同，英语目前拥有最成熟和覆盖范围最广的语法。然而，所需的投入与训练机器学习系统相当，后者依赖于大量数据和计算资源，这些资源在不同语言或领域之间可能并不平等可用。因此，我们认为该方法具有广泛的适用性，其向其他语言的扩展主要取决于高质量语法资源的持续发展。同样的情况也适用于不同的体裁，因为一旦为某种语言提供了适当的语法，该方法就可以毫不费力地转移到非新闻领域。

### 3.3 多样性指标

我们使用两种多样性度量，Shannon-Wiener 多样性指数（H，或 Shannon 指数）和 Simpson 多样性指数（Magurran, 2004 (https://arxiv.org/html/2605.06030#bib.bib60)）。

Shannon: $H' = -\sum_{i=1}^{S} p_i \ln(p_i)$

Simpson: $D = 1 - \sum_{i=1}^{S} p_i^2$

Shannon 指数被广泛用作物种多样性的生态度量（Spellerberg 和 Fedor, 2003 (https://arxiv.org/html/2605.06030#bib.bib58)）。它既考虑物种的数量（丰富度），也考虑其分布的均匀度，意味着较高的 H 值表示更大的多样性。该指数与 Shannon 熵相同，量化了预测社区中下一个物种的不确定性或“惊喜”。

Simpson 指数（Simpson, 1949 (https://arxiv.org/html/2605.06030#bib.bib59)）测量从样本中随机选择的两个个体（或令牌）属于不同类别（例如，物种、结构、词汇类型，...）的概率。它对低频现象的敏感度低于 Shannon 指数。

表 1：数据集：完整复现自 Muñoz-Ortiz 等人 2024 (https://arxiv.org/html/2605.06030#bib.bib2) 的表 1，以及 Zamaraeva 等人 2025 (https://arxiv.org/html/2605.06030#bib.bib4) 中进行的实验。

| 数据集 | 数据集中的句子数 | 模型大小 | 训练令牌数 | 数据来源 |
| :--- | :--- | :--- | :--- | :--- |
| LLaMa | 37,825 | 7B | 1T | 未披露 |
| | 37,800 | 13B | 1T | |
| | 37,568 | 30B | 1.5T | |
| | 38,107 | 65B | 1.5T | |
| Falcon | 27,769 | 7B | 1.5T | RefinedWeb-English (76%), RefinedWeb-Euro (8%), Gutenberg (6%), Conversations (5%), GitHub (3%), Technical (2%) |
| Mistral | 35,086 | 7B | 未披露 | 未披露 |
| Original NYT | 26,102 | N/A | N/A | 纽约时报档案，2023 年 10 月 1 日 - 2024 年 1 月 24 日 |
| Redwoods (WSJ) | 43,043 | N/A | N/A | 华尔街日报部分 1-21 |
| Redwoods (Wikipedia) | 10,726 | N/A | N/A | 维基百科 |

表 2：本文贡献的数据集。

| 数据集 | 数据集中的句子数 | 模型大小 | 训练令牌数 | 数据来源 |
| :--- | :--- | :--- | :--- | :--- |
| Qwen 2.5 | 37,825 | 14B | 18T | 未披露 |
| | 26,498 | 32B | 18T | |
| | 34,892 | 72B | 18T | |
| LlaMa 3.3 | 未披露 | 39,306 | 70B | 15T + |
| Mistral v.0.3 | 33,840 | 7B | 1T | 未披露 |
| GPT-4o | 50,544 | 未披露 | 13T | 未披露 |
| Original NYT | 26,102 | N/A | N/A | 纽约时报