在频率结构化的意义空间中语言组合性的演化

# 在频率结构化的意义空间中演化语言组合性
Source: https://arxiv.org/html/2607.29642
11institutetext:比利时那慕尔大学与布鲁塞尔自由大学，11email:fabio\.de\.ponte@vub\.be
22institutetext:英国布里斯托大学
22email:\{bq23138,conor\.houghton,seth\.bullock\}@bristol\.ac\.uk###### 摘要

迭代学习模型（ILM）的引入旨在研究语言演化：人类语言的特征属性如何（至少部分地）通过语言使用者之间反复的传递而被塑造。其关键发现是，语言的组合性可以自发产生，这是语言反复通过语言学习瓶颈的结果。本文探讨了改变不同意义的频率（使得某些意义远比其他意义更频繁出现）如何影响其组合性的特征。我们发现，正如在自然语言中所观察到的那样，高频率的意义可以逃脱对低频率意义具有表征性的语法规约压力。然而，当频率结构被施加在部分（bits）而非整体意义向量上时，语言无法跨代传递。尽管最频繁的元素能够被可靠地学习，这一现象仍然发生。这些结果表明，只有当频率分布定义在学习者能够整体习得的形式-意义单元上时，频率才能塑造涌现的 linguistic structure。当频率转而分布在更小的单元上时，它无法支持组合泛化所需的关系结构，从而阻碍了稳定的语言传递。

## 1 引言

跨代建模语言演化使我们能够考察语言属性如何随时间涌现和发展。在本文中，我们使用迭代学习模型（ILM）的半监督版本[8 (https://arxiv.org/html/2607.29642#bib.bib1),7 (https://arxiv.org/html/2607.29642#bib.bib2)]来研究三个这样的属性：*表达力*（expressivity）、*组合性*（compositionality）和*稳定性*（stability）。

表达力指的是语言系统能够区分意义的程度，或者等价地说，语言中的歧义程度。自然语言具有显著的表达力，允许说话者传达非常不寻常的、或者可能从未被表达过的意义。在我们的模型中，该度量被操作化为能够通过不同信号表达的意义所占的比例。

组合性指的是意义与信号之间的映射在多大程度上系统地重用信号的某些部分来表达意义的某些部分。例如，“to research”（研究）这一概念在英语的各种话语和语境中由单词“research”一致地表达，例如“I research”、“we researched”、“they are researching”、“a research paper”和“a job in research”。因此，组合性的一个定义性特征是：意义的微小变化往往对应着相关信号的微小变化。自然语言的一个有趣特征是，这种重用的*规律性*可能随意义的频率而变化。例如，与相对罕见且遵循高度规则模式的动词“to research”不同，非常常见的意义“to be”在英语中由差异很大的形式表达，如“I am”、“we were”和“they are”。

稳定性是衡量教师所教语言与学生所学语言之间相似度的指标。它被计算为教师和学生使用相同信号表达的意义所占的比例。

下面描述的实验旨在探索语言必须表达的意义的频率结构如何影响上述三个属性的演化，尤其关注组合性。

### 1.1 半监督迭代学习模型

迭代学习模型（ILM）模拟了这样一个场景：最初天真的学生从教师那里习得语言，然后在下一代中成为新天真学生的教师。在每一步传递中，语言都要经过一个瓶颈[11 (https://arxiv.org/html/2607.29642#bib.bib4),6 (https://arxiv.org/html/2607.29642#bib.bib3),12 (https://arxiv.org/html/2607.29642#bib.bib17)]：学生不会接触到完整的语言，而只能看到意义-信号对的子集。因此，学习者需要对语言中未见的部分进行泛化。

在本文使用的半监督ILM[8 (https://arxiv.org/html/2607.29642#bib.bib1)]中，每个智能体被建模为一个神经网络，具体来说是一个由编码器和解码器组成的自编码器。编码器将意义映射到信号，我们将这一过程称为*编码*（encoding），而解码器通过从信号重建意义来执行逆操作，我们将这一过程称为*解码*（decoding）。在每种情况下，特定的意义采用位串形式，而表达该意义的信号在特定语言中也是相同长度的位串。因此，一个智能体的语言就是从每个可能的意义位串到表达它的信号位串的映射。

在每一代开始时，一个天真的学生被创建出来，对语言一无所知。然后，他们的教师以自己语言生成一组话语，将意义空间中随机抽样的子集中的每个意义与该意义在教师语言中表达时使用的相关信号配对。随后，学生的编码器和解码器在这个子集上进行训练：对于编码器，意义作为输入，信号作为目标；对于解码器则相反。每个批次包含一个样本用于训练编码器，一个样本用于训练解码器，以及更多数量的意义用于以无监督方式进一步训练学生的整个自编码器，这些意义既作为输入也作为目标。

## 2 解释

组合性是跨多个语言结构层面运作的属性。像“The brown dog is in the garden”这样的句子描述了一个特定情境，可以通过替换单个单词来修改。例如，将dog改为cat得到“The brown cat is in the garden”，而将garden替换为kitchen则得到“The brown dog is in the kitchen”。在这两种情况下，局部修改都会产生有限且系统的意义变化。相比之下，同时替换几个单词可能导致一种实质上不同但仍然系统的解释，如“A blue car is in the garage”。同样的原则也适用于单词层面以下。诸如“actor”和“action”这样的词共享词根“act”，它贡献了核心的语义成分，而诸如-or、-ion这样的后缀则编码额外的信息。可以说，组合性还扩展到更高层次的话语结构，在其中替换或修改整个段落可以以系统方式改变文本的整体意义和交际效果。

半监督ILM研究组合性背后的机制，并且不限于任何特定的语言组织层面。因此，位串和单个位可能被解释为对应于不同的表征层。在本文中，为便于阐述，我们将每个信号位串视为一个对象，将单个位视为其属性。在这种解释下，整个意义位串代表必须被传达的情境设置或场景，而相应的信号位串则被解释为全息式（holophrastic）话语。

语言习得的建构主义理论提出，语言知识是通过儿童接触和参与语言使用逐步涌现的[13 (https://arxiv.org/html/2607.29642#bib.bib9),14 (https://arxiv.org/html/2607.29642#bib.bib10),15 (https://arxiv.org/html/2607.29642#bib.bib11),16 (https://arxiv.org/html/2607.29642#bib.bib12),18 (https://arxiv.org/html/2607.29642#bib.bib6),19 (https://arxiv.org/html/2607.29642#bib.bib7),2 (https://arxiv.org/html/2607.29642#bib.bib13)]，而不是由预先设定的生物模板所决定。这个过程依赖于模式识别：识别感觉和运动经验中的相似性与差异性的能力，并利用这些规律性来构建范畴和认知图式。更具体地说，在早期语言发展过程中，儿童开始建立他们所听到的语言形式与这些形式所指涉的情境语境之间的广泛关联。这些关联被称为全息式构式（holophrase constructions），因为儿童最初将它们作为不可分割的整体来处理，而不是将其分析为更小的意义成分。全息式可能对应于儿童将其解释为单一单元的多词表达，例如“Look at the black dog”。随后，接触诸如“Look at the black cat”这样的表达——它指涉类似情境，只是动物被替换了——使儿童能够推断出话语的某个子部分（如“dog”）对应于情境的特定成分，并且可以被系统地替换。这个过程标志着组合结构开始涌现。

基于使用的（usage-based）方法已在建构主义框架内为语言学习的计算建模带来了重大进展，尤其是通过流利构式语法（Fluid Construction Grammar）范式[4 (https://arxiv.org/html/2607.29642#bib.bib14),5 (https://arxiv.org/html/2607.29642#bib.bib15),3 (https://arxiv.org/html/2607.29642#bib.bib16)]。这一研究方向已经证明，大规模、人类可解释的构式语法可以直接从语言使用中学习，并能捕捉复杂的句法和语义规律性[20 (https://arxiv.org/html/2607.29642#bib.bib8)]。虽然这种方法在从现有语言数据建模习得方面是成功的，但它没有回应更广泛的演化问题：语言本身如何随时间变化，或者语言系统最初是如何产生的[9 (https://arxiv.org/html/2607.29642#bib.bib5)]。这正是ILM所关注的重点。

如引言中所述，语言被定义为意义向量与信号向量之间的映射。意义向量m∈M\mathbf{m}\in M中的单个位ii将被称为一个“事实”（fact）。类似地，信号向量s∈S\mathbf{s}\in S中的位jj将被称为一个“词”（word）。严格来说，“语素”（morpheme）会是一个更准确的术语，因为信号向量旨在模拟意义编码方式的任何方面。然而，为方便起见，我们在全文使用“词”。

在本文中，我们将意义位串解释为情境设置的表示。例如，考虑一组对象，它们在一组有序的二元属性上有所不同，如“大”与“小”或“黑”与“白”。意义位串的每个位可以编码这些属性之一。使用8位意义表示，我们可以映射2^8个场景：第一位可能表示大小，第二位表示颜色，依此类推。同样，信号位的特定组合代表一个全息式句子，用于传达特定的情境设置，在这里即特定的意义。对于第一个教师来说，信号位串相对于意义是任意的，并且往往没有预定义的内部结构。没有任何东西阻止多个意义映射到同一个信号，同样也无法保证每个信号都在映射中被使用。重要的是，无法保证任意意义-信号映射可以通过接触该映射的子集来学习，因为很可能映射的一部分中没有信息可以帮助预测另一部分的结构。

## 3 方法

### 3.1 实验

在每一代中，选择一个意义子集BB，用于创建一组意义-信号对。然后将其用于监督训练：编码器在B1=BB_\{1\}=B上训练，解码器在B2B_\{2\}上训练，B2B_\{2\}是B1B_\{1\}的洗牌副本。同时，从完整意义空间中采样一个通常比BB更大的意义子集AA，以无监督方式训练自编码器。在每个轮次内，编码器和解码器各自接收\|B\|\|B\|次梯度更新。对于每次迭代，在从AA独立抽取的意义上执行r r 次额外的自编码器更新。这产生了编码器、解码器和自编码器之间1:1:r1\{:\}1\{:\}r的更新比率，因此自编码器每个轮次接收r×\|B\|r\\times\|B\|次梯度步骤，而监督组件接收\|B\|\|B\|次。

在[8 (https://arxiv.org/html/2607.29642#bib.bib1)]中，已证明该实验设置可以实现最优的组合性、表达力和稳定性。图1 (https://arxiv.org/html/2607.29642#S4.F1)a展示了在配置\|A\|=480\|A\|=480、\|B\|=320\|B\|=320、学习率0.50.5、每个编码器和解码器学习迭代对应20次自编码器训练迭代（即循环比率为1:1:201\{:\}1\{:\}20）下，16位编码器-解码器模型在50代内所有三个指标的演化。结果在30次独立试验上取平均。在这些条件下，所有三个指标在大约20代内收敛到最大值。

在此，我们通过研究当学习者暴露于不均匀的意义分布时语言组合性如何被塑造来扩展这一工作。具体而言，我们解决两个问题：第一，在训练期间更频繁出现的意义向量（代表情境设置）是否会导致信号或多或少具有组合性；第二，当不均匀的意义分布应用于单个位而不是整个意义层面时，会产生什么效应。

为了回答这些问题，我们对意义施加不均匀的频率分布，首先*在整个意义向量空间内*，然后*在意义向量的各个位之间*。我们使用Zipf分布来建模这种频率分布，这反映了它在自然语言频率结构中确立的角色[10 (https://arxiv.org/html/2607.29642#bib.bib19),17 (https://arxiv.org/html/2607.29642#bib.bib20),21 (https://arxiv.org/html/2607.29642#bib.bib21)]。Zipf定律[1 (https://arxiv.org/html/2607.29642#bib.bib23)]指出集合中每个元素的频率与其排名成反比：f(r)∝1/rαf\(r\)\\propto 1/r^\{\\alpha\}，其中rr是排名，即元素在按频率排序列表中的位置，α\\alpha是控制分布陡峭程度的指数。设置α=0\\alpha=0则恢复均匀分布，其中所有意义同样频繁，而较大的α\\alpha值将概率质量集中在排名最高的意义上。通过在训练期间根据此分布采样意义，我们使学习者暴露于倾斜的输入，其中少数意义频繁出现，而长尾意义只是偶尔遇到或根本未遇到，从而使我们能够隔离频率对组合结构涌现的影响。

为了在集合nn位意义向量上应用Zipf分布，首先将2^n个意义打乱，然后每个意义被赋予与1/rank^α成比例的概率，其中rank是该意义在打乱后的排名位置。这些概率在代际间保持不变。

我们还考虑了一种不同的操作方式，其中Zipf分布被应用于每个意义向量内的单个位。在训练期间，每个意义向量都是通过独立地