论无金标准非人类序列依存句法分析的可行性：其他物种是否可能进行评估？

# 关于非人类序列在无黄金标准情况下进行依存句法分析的可行性：其他物种的评估是否可能？来源：https://arxiv.org/html/2607.06542 \\jvol vv\\jnumnn\\jyear2025\\dochead短论文\\pageonefooter执行编辑：\{执行编辑姓名\}。投稿日期：YYYY年MM月DD日；修订版收到日期：YYYY年MM月DD日；接受出版日期：YYYY年MM月DD日。 \\affillblock Catherine Hobaiter²Thore Bergman³Morgan Gustison⁴加泰罗尼亚理工大学，计算机科学系 圣安德鲁斯大学，心理学与神经科学学院 密歇根大学，心理学与生态学与进化生物学系 西安大略大学，心理学系 ###### 摘要 依存句法分析旨在为序列找到树形表示。无监督依存句法分析旨在模型训练过程中无需黄金标准的情况下开发句法分析方法。在人类语言中，通常存在或可以创建某种黄金标准，因此无监督解析器可以得到评估。对于其他物种，黄金标准是未知的。因此，人们可能会得出结论：确定无监督解析器的准确性是不可能的，因而在其他物种中进行依存句法分析也是不可行的。然而，在此我们应用网络科学的最新进展，证明由于非人灵长类动物产生的发声或手势序列的长度分布快速衰减，解析器检索到的正确边的比例必然很高。相比之下，人类语言序列缺乏这一特性。因此，在非人灵长类动物中进行无黄金标准的评估是可行的，但在人类中则是一个难题。 ## 1 引言 句子的句法结构（图1（https://arxiv.org/html/2607.06542#S1.F1）（a））可以用一个句法依存结构来表示，即一棵有根树，其中顶点是单词，弧表示单词之间的句法依存关系，如图1（https://arxiv.org/html/2607.06542#S1.F1）（b）所示（Mel’čuk，1988（https://arxiv.org/html/2607.06542#bib.bib31））。句法依存树库（以下简称树库）是一个包含句子及其依存结构的集合。依存句法分析（以下简称句法分析）是自动找到句子的树形表示，而解析结果是解析器为句子检索到的树形表示（Marecek，2012（https://arxiv.org/html/2607.06542#bib.bib26）；Carroll，2014（https://arxiv.org/html/2607.06542#bib.bib5））。有监督解析器通过黄金标准（通常是一个树库，其中包含每个句子的正确或期望的依存结构，如图1（https://arxiv.org/html/2607.06542#S1.F1）（b））来学习句法分析。有监督学习是指利用树库作为黄金标准来拟合模型。无监督解析器在无需树库的情况下学习句法分析，即仅从原始句子集合（仅包含单词序列，如图1（https://arxiv.org/html/2607.06542#S1.F1）（a））或单词序列加上词性信息中学习句法分析（Han et al.，2020（https://arxiv.org/html/2607.06542#bib.bib18））。无监督学习是指在无黄金标准的情况下拟合模型。评估是指将解析结果与黄金标准树库进行比较。典型的评估分数是正确检索到的树的比例或正确检索到的依存关系的比例（Carroll，2014（https://arxiv.org/html/2607.06542#bib.bib5）；Han et al.，2020（https://arxiv.org/html/2607.06542#bib.bib18））。 请参见图注 图1：（a）构成句子的原始单词序列。（b）由 Stanza 1.10.1（http://stanza.run/）对《世界人权宣言》第九条进行的句法依存分析结果。（c）去除依存方向后的 (b) 中相同的分析结果。 在许多语言中，由于树库已经可用，解析器的评估是直接的。在其他语言中，由于树库尚不可用（所谓的“低资源”语言），其开发技术成本高昂（Scheinerman，2012（https://arxiv.org/html/2607.06542#bib.bib38）），或者语言本身在如何定义句子结构方面存在理论挑战（例如，参见 Vasquez et al.，2018（https://arxiv.org/html/2607.06542#bib.bib43）或 Martín Rodríguez et al.，2022（https://arxiv.org/html/2607.06542#bib.bib28）），因此评估是不可能的。对于其他物种，黄金标准根本无法获得，这给基于人类语言的主流语言学带来了严峻挑战。尽管无监督解析器可用于从其他物种产生的序列中检索依存结构，但难题在于评估：解析器会产生依存结构，但我们如何知道它们是否正确？因此，人们可能会得出结论，无法评估其他物种中解析器的性能，这进而可能导致人们认为精确解析其他物种的交流是不可行的。无监督句法分析可以应用于其他物种，但只能用于推测其他物种可能具有的结构范围。 尽管有上述考虑，其他灵长类动物产生的序列相当短（Gustison et al.，2016（https://arxiv.org/html/2607.06542#bib.bib17）；Girard-Buttoz et al.，2022（https://arxiv.org/html/2607.06542#bib.bib13）；Mielke et al.，2024a（https://arxiv.org/html/2607.06542#bib.bib32）），并且序列长度的分布在不同物种中呈指数衰减（例如，狮尾狒：Gustison et al.，2016（https://arxiv.org/html/2607.06542#bib.bib17）；黑猩猩：Girard-Buttoz et al.，2022（https://arxiv.org/html/2607.06542#bib.bib13））。在此，我们应用网络科学的最新进展（London and Pluhár，2023（https://arxiv.org/html/2607.06542#bib.bib25））来证明，由于非人灵长类动物产生的发声或手势序列的长度分布快速衰减，解析器检索到的正确边的比例必然很高。相比之下，人类语言序列缺乏这一特性。我们的核心论证如下。首先，我们忽略依存方向，只保留无向边（图1（https://arxiv.org/html/2607.06542#S1.F1）（c）），这是无监督解析器评估中的常见做法（Marecek，2012（https://arxiv.org/html/2607.06542#bib.bib26）；Han et al.，2020（https://arxiv.org/html/2607.06542#bib.bib18））。其次，我们考虑一个针对长度为 \(n\)（\(n \geq 2\)）的序列的随机解析器。该解析器在所有可能的 \(n\) 个顶点的树中随机选择正确的树。我们将证明该随机解析器正确识别边的期望比例为 \(2/n\)。如果 \(n=2\)，解析器拥有 \(100\%\) 的最大准确率。如果 \(n=3\)，其期望准确率为 \(66\%\)；如果 \(n=4\)，则为 \(25\%\)；……因此，如果序列长度偏向于低值，随机解析器将具有高准确率。因此，任何足够好的无监督解析器，即任何理论上能够通过利用序列的统计结构优于随机解析器的解析器（Marecek，2016（https://arxiv.org/html/2607.06542#bib.bib27）；Han et al.，2020（https://arxiv.org/html/2607.06542#bib.bib18）），其准确率将高于随机解析器。事实上，非人猿类产生的序列具有某种统计结构（Gustison et al.，2016（https://arxiv.org/html/2607.06542#bib.bib17）；Gustison，2017（https://arxiv.org/html/2607.06542#bib.bib16）；Mielke et al.，2024a（https://arxiv.org/html/2607.06542#bib.bib32））。因此，即使我们没有黄金标准，我们也始终能够为任何足够好的解析器的准确率提供一个下限，并且如果序列长度偏向于低值，我们将能够证明其性能必然很高。本文旨在证明一个足够好的解析器在非人灵长类动物产生的真实发声或手势序列上的性能确实预期会很高。 本文的其余部分组织如下。第2节（https://arxiv.org/html/2607.06542#S2）研究了随机解析器在序列集合中找到正确树或正确识别边的理论能力。特别地，我们针对三种序列长度分布给出了正确树比例和正确依存关系比例的期望值：经验分布以及两种理论分布，即均匀分布和几何分布。后者近似于狮尾狒和黑猩猩产生的发声序列长度分布（Gustison et al.，2016（https://arxiv.org/html/2607.06542#bib.bib17）；Girard-Buttoz et al.，2022（https://arxiv.org/html/2607.06542#bib.bib13））。第2节（https://arxiv.org/html/2607.06542#S2）研究了上述理论分布参数的影响，并表明当序列较短时随机解析器的性能较高，但随着序列平均长度的减小而下降。第3节（https://arxiv.org/html/2607.06542#S3）介绍了来自人类和其他灵长类动物的数据集，这些数据将用于获取序列长度的经验分布或该分布的关键参数（例如，最大序列长度）。这种经验分布有两个目的。首先，用于准确估计随机解析器的性能。其次，为几何分布作为非人灵长类动物产生序列的理论模型提供支持。第4节（https://arxiv.org/html/2607.06542#S4）做出了一系列贡献。首先，第4节（https://arxiv.org/html/2607.06542#S4）比较了黑猩猩的发声和手势序列与人类句子在序列长度分布形状上的差异。结果表明，只有黑猩猩的序列长度可以用几何分布来近似。其次，它估计了31种非人灵长类动物中随机解析器性能的下限。第三，它还提供了狮尾狒、黑猩猩和人类中随机解析器性能的准确估计。随机解析器每个序列检索到的正确边的平均比例对于狮尾狒为 \(51\%\)，对于黑猩猩为 \(>79\%\)。如果分析仅限于长度超过两个单元的序列，则性能下降到狮尾狒的 \(41\%\) 和黑猩猩的 \(>56\%\)。相比之下，随机解析器在人类语言上的准确率，当限制在长度为10的句子时约为 \(27\%\)，对于任意长度的句子约为 \(13\%\)。最后，第5节（https://arxiv.org/html/2607.06542#S5）得出结论：在狮尾狒和黑猩猩中进行无黄金标准的评估是可行的，但在人类中则是困难的。第5节（https://arxiv.org/html/2607.06542#S5）还表明，对于这些物种，无监督解析器的成功训练是可能的。 ## 2 理论 解析器的性能可以通过不同的方式评估。首先，考虑边的方向，如图1（https://arxiv.org/html/2607.06542#S1.F1）（b）所示，或者忽略方向，如图1（https://arxiv.org/html/2607.06542#S1.F1）（c）所示（Han et al.，2020（https://arxiv.org/html/2607.06542#bib.bib18））。在这里，为了简单起见并避免对其他物种产生的依存结构施加先验的层次或根性概念（Frank and Christiansen，2018（https://arxiv.org/html/2607.06542#bib.bib10）），我们忽略边的方向。因此，我们的目标是序列的自由树。图1（https://arxiv.org/html/2607.06542#S1.F1）（c）显示了一个句子的自由树，它是通过从有根树（1（https://arxiv.org/html/2607.06542#S1.F1）（b））中移除链接方向而获得的。其次，考虑检索到的正确树的数量（硬评估）或检索到的正确边的数量（软评估）（McDonald et al.，2005（https://arxiv.org/html/2607.06542#bib.bib30））。这里我们考虑两个方面。 ### 2.1 基本定义 在此，我们希望评估一个解析器在由 \(S\) 个序列组成的集合上的性能。我们假设每个序列都有一个单一的正确依存结构，这是人类语言句子的句法依存结构的默认假设。为了简化解析器性能的分析，我们假设解析器在输入序列时总是检索到一个自由树。解析器可以直接生成一个自由树（Yuret，1998（https://arxiv.org/html/2607.06542#bib.bib44）），或者先生成一个有根树，然后转换为自由树（Han et al.，2020（https://arxiv.org/html/2607.06542#bib.bib18））。某些解析方法针对一个序列可能产生多个自由树。例如，从图 \(G\) 中提取最优生成树的解析方法，当 \(G\) 中存在并列权重时，可能会检索到多个自由树（McDonald et al.，2005（https://arxiv.org/html/2607.06542#bib.bib30））。如果发生这种情况，我们假设解析器最终只随机交付其中一个并列的树，以便于对该解析器性能进行理论分析。这样，我们就不需要区分解析器的精确率和召回率，因为它们变得相同。 我们定义 \(n_i\) 为集合中第 \(i\) 个序列的长度。在人类语言中，序列可以由口语中的单词或手语中的手势组成。在其他物种中，这些序列可以由发声（McCowan, Hanser, and Doyle，1999（https://arxiv.org/html/2607.06542#bib.bib29）；Girard-Buttoz et al.，2022（https://arxiv.org/html/2607.06542#bib.bib13）；Kershenbaum et al.，2016（https://arxiv.org/html/2607.06542#bib.bib21））、手势（Liebal, Call, and Tomasello，2004（https://arxiv.org/html/2607.06542#bib.bib24）；Hobaiter and Byrne，2011（https://arxiv.org/html/2607.06542#bib.bib20）；Mielke et al.，2024a（https://arxiv.org/html/2607.06542#bib.bib32））或其他行为模式（Altmann，1965（https://arxiv.org/html/2607.06542#bib.bib2）；Ferrer-i-Cancho and Lusseau，2006（https://arxiv.org/html/2607.06542#bib.bib8））组成。像人类一样，其他物种在形成序列时也会组合多种模态（Hobaiter, Byrne, and Zuberbühler，2017（https://arxiv.org/html/2607.06542#bib.bib19）；Mine et al.，2024（https://arxiv.org/html/2607.06542#bib.bib34））。构成这些序列的总符号数为 \(T = \sum_{i=1}^{S} n_i\)，其中 \(n_i\) 是第 \(i\) 个序列的长度（元素数量）。序列长度的样本，即 \(\{n_1, n_2, ..., n_i, ..., n_S\}\)，(1) 定义了序列长度的经验分布，可以通过 \(f(n)\) 简洁地表示，即长度为 \(n\) 的序列的数量。那么
\[
S = \sum_{n=1}^{n_{max}} f(n)
\]
\[
T = \sum_{n=1}^{n_{max}} n f(n),
\]
其中 \(n_{max}\) 是最大序列长度。我们定义 \(\mathcal{F}\) 为解析器为每个序列获得的自由树所组成的森林。该森林有 \(T\) 个顶点，\(m = T - S\) 条边和 \(S\) 棵树。 ### 2.2 评估分数 关于硬评估，我们计算 \(P_c^t\)，即 \(\mathcal{F}\) 中正确树的比例，即
\(P_c^t = \frac{S_c}{S}\)，
其中 \(S_c\) 是 \(\mathcal{F}\) 中正确树的数量。下标 \(c\) 代表正确（correct），下标 \(t\) 代表树（trees）。\(P_c^t\) 被称为完全度量（McDonald et al.，2005（https://arxiv.org/html/2607.06542#bib.bib30））。关于软评估，我们计算 \(P_c^e\)，即