解耦语言模型避免过度泛化中的统计先占与固化

# 解析语言模型避免过度泛化中的统计预先阻止与固化效应  
来源：https://arxiv.org/html/2609.01794  

王一轩  Shi Freda  
滑铁卢大学  Vector Institute  加拿大CIFAR人工智能讲席  
邮箱：[[email protected]](mailto:)  

Kanishka Misra  
得克萨斯大学奥斯汀分校语言学系  
邮箱：[[email protected]](mailto:)  

###### 摘要  
学习者如何避免"Tom laughed me"这类过度泛化，而无需明确的否定证据？建构主义者提出了两种间接否定证据的假设：预先阻止（优先接触近义结构——例如"she made him laugh"）与固化效应（接触动词的所有语法用例，包括"He laughed"等情况）。我们通过在基于儿童-照顾者对话训练的语言模型上进行控制性养育实验，系统移除预先阻止证据与非预先阻止证据，从而区分这两种假设。研究发现，虽然语言模型能避免过度泛化，但在动词特定层面未表现出预先阻止效应，而是呈现出抽象预先阻止的证据。结合对语言模型训练动态的分析，我们发现语言模型在动词特定条件下将竞争结构视为间接肯定证据（而非否定证据）。鉴于预先阻止是人类避免过度泛化更可信的途径，我们的结果表明神经网络学习者需要对间接否定证据具有更高敏感度，并为检验超越目标动词的预先阻止效应设计新的人类实验提供依据。  

## 1 引言  
人类认知的标志之一是我们能够进行有效的生产性泛化。例如，听到0xnumia (https://arxiv.org/html/2609.01794#S1.I1.i1.I1.i1)时，合格的英语使用者可以运用对不及物动词和及物动词（break, roll）的经验轻松生成0xnumib (https://arxiv.org/html/2609.01794#S1.I1.i1.I1.i2)。但他们的泛化也受到约束——例如，虽然我们完全可以接受0xnumia (https://arxiv.org/html/2609.01794#S1.I1.i2.I1.i1)，但不会产生0xnumib (https://arxiv.org/html/2609.01794#S1.I1.i2.I1.i2)。  

- (0xnumi)- a.- 水开了。  
- b.- 爸爸把水烧开了。  
- (0xnumi)- a.- 宝宝笑了。  
- b.- \*妈妈笑了宝宝。  

图1：我们的实验范例概览。对于给定动词（laugh），我们在语料库的两个版本上训练语言模型：分别移除该动词的预先阻止证据，以及同等数量的非预先阻止证据。随后比较这些语言模型的行为，以区分预先阻止与固化效应对该动词过度泛化的解释力。  

儿童常会通过产生0xnumib (https://arxiv.org/html/2609.01794#S1.I1.i2.I1.i2)类句子过度泛化上述模式（Bowerman, 1988；Braine and Brooks, 1995；Akhtar and Tomasello, 1997；Brooks and Tomasello, 1999等），但最终会收敛并约束其泛化。他们在没有大量明确否定证据的情况下完成这一过程（Brown and Hanlon, 1970；Baker, 1979）——照顾者极少系统纠正儿童的语法错误（Chouinard and Clark, 2003）。那么，这种约束是如何被学习的？  

在建构主义和基于使用的语言习得理论中（Goldberg, 1995；Tomasello, 2003；Goldberg, 2005；Rowland, 2013；Rowland et al., 2025），存在两种密切相关但试图解释避免过度泛化的假设：预先阻止（preemption）与固化效应（entrenchment）。预先阻止假说认为，当存在两个近义结构A和B时，接触动词在A中的用法（此时本可使用A或B）可作为反对该动词用于B的证据（Goldberg, 1995；Brooks and Zizak, 2002；Boyd and Goldberg, 2011）。以动词"laugh"为例，预先阻止预测及物用法"Mom laughed the baby"会被迂回使役用法"Mom made the baby laugh"预先阻止，因为当X做了某事导致Y笑时，人们使用"X made Y laugh"而非"X laughed Y"。  

固化效应则不优先考虑近义结构或特定语境（Theakston, 2004；Stefanowitsch, 2008；Ambridge et al., 2008）。此时动词在任何已证实结构中的用法都构成反对未证实用法的证据——固化效应不仅考虑"laugh"的迂回使役用法对其及物用法的阻断，还考虑不及物用法（如0xnumia (https://arxiv.org/html/2609.01794#S1.I1.i2.I1.i1)）等其他结构。  

这两种假说已争论近40年（Rowland, 2013）。二者相似性多于差异：1）两种解释都依赖间接否定证据，因为它们都将其他结构作为反对过度泛化的证据；2）二者在本质上都是统计性的，因为其阻断效应取决于接触间接证据的频率——接触越频繁，阻断效应越强；最重要的是，3）固化效应是预先阻止的严格超集，因为预先阻止涵盖的证据（近义结构）始终是固化效应考虑范围的一部分。后者解释了为何在实验室区分二者的尝试（Brooks and Zizak, 2002；Ambridge et al., 2015；Ambridge et al., 2018；Bidgood et al., 2021）常存在变量多重共线性问题。这些研究中，参与者对非常规形式的接受度判断使用来自公开语料库的动词预先阻止用法频率（预先阻止）及动词总频率（固化效应）来预测，而非学习者自身的经验（人类无法获取）。因此，除多重共线性外，这些实验也无法揭示两种假说的因果地位。  

为裁决这两种假说，我们对语言模型进行"控制性养育"实验（Frank, 2023；Misra and Mahowald, 2024），系统操纵语言模型的学习经验以区分预先阻止与固化效应。作为案例研究，我们将方法应用于解释（通常）不及物动词如"laugh, smile, cry"等的及物过度泛化——这是过去30年固化效应与预先阻止分析的典型范例（Akhtar and Tomasello, 1997；Ambridge et al., 2015；Bidgood et al., 2021）。  

尽管对语言模型的分析不能直接推断人类情况（Warstadt and Bowman, 2022；Portelance and Jasbi, 2024；Misra and Kim, 2026；Futrell and Mahowald, 2025），此类实验使我们能够评估两种假说的可行性及其如何（或是否）源自语言模型所采用的通用统计学习。控制性养育通过反事实学习场景实现这一点——例如，"如果学习者的训练数据中没有预先阻止证据会怎样？"预先阻止证据的特殊作用若得以证实，则表明语言模型通过细粒度的意义敏感性获得泛化约束，因为预先阻止优先考虑可用任一结构传达相同意图或语义的语境。更广泛地说，这有助于我们理解类似约束是否产生于在认知合理量的纯语言暴露下训练的语言模型，还是需要语义的明确证据（Abend et al., 2017；Yedetore and Kim, 2024）。  

我们的方法与研究问题也为新兴的"控制性养育"或"过滤语料库训练"计划（Patil et al., 2024）做出了方法论贡献，该计划已成为理解输入如何塑造统计学习者泛化的重要范式。该方法的多数应用主要展示了语言模型如何在没有直接证据或证据不足时泛化到"新"用法（Jumelet et al., 2021；Misra and Mahowald, 2024；Patil et al., 2024；Yao et al., 2025；Yang et al., 2026），即仅关注间接肯定证据，研究促进泛化的因素而非阻碍泛化的因素。唯一例外是Leong and Linzen (2026)的工作，他们侧重于明确理解阻止模型使用某结构的信号，但关注不同结构（主动/被动语态），且未区分预先阻止证据与非预先阻止证据（即整体考虑固化效应）。这使我们的工作在该文献中独具特色，因为我们旨在因果区分预先阻止与固化效应，并明确衡量其作为间接否定证据来源的可行性。  

### 1.1 研究发现概述  
在检验模型避免过度泛化的机制前，我们先测量模型是否习得适当的泛化——即发现不及物动词的及物用法概率低于其迂回使役对应形式。确认模型确实如此（§3）后，我们进行控制性养育研究以区分预先阻止与固化效应（§4）。此处检验特定动词的预先阻止用法（如"Tom made me laugh"中的迂回使役用法）是否比非预先阻止用法（如"I laughed"）具有特殊作用，方法是分别在语料库中移除等量证据并训练语言模型。使用语言模型对这些动词非常规、未见过的及物用法的负对数似然损失（NLL）作为过度泛化度量，我们考虑两种操纵类型：1）动词特定——仅操纵特定动词的用法；2）抽象——操纵所有动词的用法，以量化预先阻止证据是否来自更高阶来源。  

我们在动词特定条件下未发现明确的预先阻止证据——当预先阻止证据被移除时，语言模型对非常规及物用法的NLL高于保留该证据时。相比之下，预先阻止假说预测在缺少预先阻止证据时，模型应认为及物用法更可能。然而，抽象条件确实显示出相对较大的预先阻止效应，尽管绝对强度普遍较弱。这一发现与以下假设一致：模型将迂回使役结构视为间接肯定证据，这在其他控制性养育研究中常见。即模型可能通过其他两者皆可接受的动词（如"She boiled the water" vs."She got the water to boil"）推断及物与迂回使役形式的关系，这解释了为何在抽象条件下（移除所有迂回使役形式）未观察到该现象。  

为进一步探索这种肯定证据（而非否定证据）的发现，我们研究了训练过程中模型遇到迂回使役用法前后，对未见过的及物和迂回使役句子行为的变化。我们发现模型在两种结构上的泛化行为高度相关，进一步支持间接肯定证据假说——迂回使役形式的存在与及物用法的可能性紧密相关。  

鉴于预先阻止在人类中发生并驱动过度泛化的收敛（Samara et al., 2025），我们的动词特定结果表明语言模型学习者需要建模细粒度间接否定证据。我们推测这可能源于关于结构使用语境的更明确语义信号，或形态学约束——预先阻止概念即源于此（Kiparsky, 1973；Aronoff, 1976）。同时，抽象预先阻止的发现促使通过人工语言学习设计在人类中检验此发现的新实验，因为论元结构交替的预先阻止常被视为动词特定效应（Goldberg, 2005；Ambridge et al., 2015；Ambridge et al., 2018；Bidgood et al., 2021）。  

我们的代码和数据可在https://github.com/Yixuan-Wang/verb-overgen获取。  

## 2 数据、模型与方法  
### 2.1 训练数据  
为尽可能贴近儿童获得的输入与约束，我们使用儿童语言数据交换系统（CHILDES）数据集（MacWhinney, 2000）的英语子集作为训练数据。CHILDES包含儿童与照顾者对话的人工转录。语料库约含500万话语，总计2600万以空格分隔的词。重要的是，CHILDES还提供形态学与句法标注。