左分支Transformer在右分支语言中表现出色：数据塑造语言模型的词序偏好
摘要
本文系统比较了decoder-only语言模型在人工语言和自然语言中的词序偏好，发现这些偏好是数据驱动的，并且随着LLMs的广泛采用，可能会减少语言多样性。
查看缓存全文
缓存时间: 2026/08/18 10:03
# 左分支Transformer擅长右分支语言：数据塑造语言模型的词序偏好 来源：https://arxiv.org/html/2608.15129 Allan Hanbury Terra Blevins 所属机构：东北大学计算机科学学院 通信作者：[[email protected]](mailto:[email protected]) 维也纳工业大学信息学院 ###### 摘要 我们系统性地比较了仅解码器语言模型在192种人工语言和类型学多样自然语言中的词序偏好。在人工语言上，模型表现出左分支偏好，这既不符合自然语言普遍性，也不同于人类学习词序的倾向。在自然语言上，单语模型在小规模数据时未表现出明确的基词序偏好，但随着数据增长，模型倾向于选择右分支的主谓宾语言，而尽管跨语言中最常见的词序是主宾谓，其表现却相对较差。这种主谓宾优势也延伸至多语模型，并与语言资源水平及数据质量相关，而非词序本身。因此，相同架构在人工语言和自然语言上表现出相反的偏好，证实了实践中观察到的词序偏向由数据驱动。由于高资源语言绝大多数是主谓宾结构，这些偏向可能随着大语言模型的广泛采用，逐渐削弱词序多样性，尤其是在那些灵活运用多种词序的语言中。 ## 1 引言 图 1：不同已验证语言、人工语言和自然语言中，语言方向性与模型性能的关系 X轴：右分支转换次数（§3.1），从完全左分支（0R/5L）到完全右分支（5R/0L）。↓表示（b）-（d）中性能更好；颜色代表基词序（图例见（a））。 （a）按基词序统计的已验证语言频率。 （b）GPT-2在人工语言上的表现（困惑度PPL）。 （c, d）在两种训练数据规模（BPEC；§3.4）下，单语模型在自然语言上的表现。 词序是跨语言差异中最基本的维度之一。语言在线性排列子句成分（如英语的主谓宾，日语的主宾谓）和内部成分顺序（如介词和形容词相对于其核心词的位置）上存在广泛差异；然而，许多排序选择往往相互关联，并与例如主宾谓语言通常使用后置词、主谓宾语言使用前置词等现象相关，使语言在“方向性”（图1a）上形成一个连续体，从“左分支”（修饰语位于核心词之前，如后置词）到“右分支”（核心词在前，如前置词）。除了主要词序，许多语言还表现出生产性的词序变异，用于话题化、焦点标记等语篇-语用功能。随着语言模型日益应用于类型学多样的语言，一个自然的问题是：这些模型是否发展出系统性的词序偏好？如果存在，这些偏好是源于模型架构还是由数据驱动？这个问题尤其紧迫，因为存在大语言模型导致语言同质化的潜在风险，以及大语言模型倾向于更正式的写作风格（这往往偏爱刚性词序）。先前的工作使用基于形式语法生成的人工语言以及自然语言的合成变体来研究语言模型的词序偏好。然而，人工语言缺乏自然语言的语义、形态和语篇层面的复杂性，因此受控环境下的发现可能无法普遍适用；反之，仅在自然语言上评估又无法将词序与形态、数据质量和文字系统等混淆因素分离开来。我们结合两种方法在多个训练数据规模上进行研究，以填补这一空白，并提供了三项方法论贡献：（1）我们在涵盖全部六种基词序及32种内部成分排序的192种人工语言上训练模型，分析其方向性偏好、与跨语言普遍性的对齐程度以及在多个训练数据规模下的成分惊讶度。（2）我们以类似方式评估在类型学多样的自然语言上训练的单语和多语模型，分析词序偏好和成分惊讶度如何随数据增长而变化。（3）通过将人工语言配置映射到自然语言类型特征，并比较在两种范式下在匹配数据规模上训练的模型，我们将人工和自然语言上的词序偏好评估统一到一个受控比较中，使我们能够区分架构偏差和数据驱动的偏差。 我们发现，在人工语言上，模型表现出左分支偏好（图1b），这既不符合跨语言普遍性，也不同于人类学习者偏好一致方向性的倾向。成分惊讶度分析表明，这种偏好可能部分反映了无语义语法的熵结构，而非模型固有的架构先验。然而，这些基词序的排名会随数据量变化，并且在训练早期方向性偏好会发生逆转。相比之下，在自然语言中，当训练数据为5MB时（图1c），未观察到词序偏好，但在1000MB规模（图1d），单语模型发现主谓宾语言最容易，主宾谓语言最难，这暗示了数据质量而非单纯数据量的影响。这种主谓宾优势也延伸至多语模型，并且仅当该词序主要由极低资源语言主导时才会消失（如在BLOOM中）。这些结果表明，在实践中，模型始终偏向高资源语言的词序，尤其是在规模扩大时。由于高资源语言绝大多数是主谓宾结构（如英语和中文；附录A.4），这为“无声的类型学同质化”创造了前提条件：即由不平衡训练数据驱动的词序多样性逐渐减少。我们的结果表明，这一前提是存在的，在不同模型类型和训练方案下是稳健的，并且原则上可以通过数据整理来解决。 ## 2 相关工作 语言模型的词序偏好主要通过人工语言和自然语言的合成变体进行研究。[55]在从概率上下文无关文法（PCFG）生成的、分支方向性各异的语言上训练语言模型，发现模型偏好左分支结构，并在普遍存在的主宾谓语言和罕见的宾主谓语言上表现最好，表明与类型频率无关；我们的人工语言实验基于他们的方法（§3.1）。[32]将其扩展到认知动机的语言模型，发现具有解析策略和记忆限制的模型在类型学上常见的词序上获得更低的困惑度（PPL）。[17]采用广义范畴语法，涵盖所有六种主/宾/谓线性化方式，发现类型学上合理的词序有利于长度泛化。在涌现通信中，[35]表明神经智能体仅通过通信压力，就会从等概率混合词序语言趋向单一主导词序，这种效应在更大的智能体群组中会增强。另一系列工作创建了已验证语言的合成变体。[47]创建了词序和格标记改变的合成英语变体，发现循环神经网络的一致性预测反映了近因偏差。[8]同样通过改变英语的词序灵活性和格标记来研究神经机器翻译，发现翻译灵活词序语言在低资源环境下更困难。[25]显示GPT-2为层级结构被破坏的英语变体分配了更高的PPL，尽管[59]发现这在九种不同语言中并不普遍。[10]发现真实词序比反事实替代方案更均匀地分布信息，其中主谓宾语言的效应最强。在同步工作中，[57]发现基于五条格林伯格普遍性的、不和谐（即类型学上方向性不一致）的英语和日语变体学习速度较慢，但最终达到可比的性能；我们测试了一组部分重叠的普遍性（§3.4）。据我们所知，此前没有研究结合受控的人工语言和自然语言实验来分析词序偏好；我们在此进行了尝试。 ## 3 方法论 为区分潜在的架构偏差与训练数据效应，我们在人工语言和自然语言上进行平行实验，并使用已验证语言的统计信息作为参考，以检验模型偏好是否与人类偏好相关。人工语言使我们能够独立分析所有可能的词序排列，避免形态一致等类型学维度的混淆。自然语言实验旨在检验人工语言上的发现是否具有普遍性，并有助于确定是否可以用人工语言可靠地研究词序偏好。 ### 3.1 人工语言 每种语言编码为\[基词序\]\-\[5字符\]，其中基词序指定主/谓/宾的顺序，每个字符选择一个二元参数：L=左分支，R=右分支。示例：SOV-LLLLL≈日语。6种基词序×2^5种配置=192种语言。 图2：语言编码方案 图3：SOV-LLLLL（≈日语，上）和SVO-RRRLR（≈英语，下）的同一句子：相同的层级结构，但词序不同。动词和连词被高亮；主/宾=显性格标记。 我们基于[55]生成人工语言。每种语言由一个基本主/谓/宾词序和五个二元核心词方向转换定义，这些转换控制补足语从句、连词、介词、形容词和关系从句的排序。每个转换选择在L（左分支，核心词末尾）变体（修饰语位于核心词之前）和R（右分支，核心词在前）变体（核心词位于修饰语之前）之间。一个基础PCFG与符合齐普夫分布的词汇表生成带括号的分析树；主句成分随后被确定性地重新排序，并应用核心词方向转换，使得所有192种变体共享相同的派生概率，仅在词序上不同。图3展示了同一句子在SOV-LLLLL（≈日语）和SVO-RRRLR（≈英语）下的情况：保留了层级结构，但表面线性化改变了。我们从三个方面扩展了[55]：（1）我们增加了一个明确的从句补足语顺序转换，而[55]将其与名词宾语顺序绑定，使其在设计上不可分离；（2）我们增加了一个六种基词序参数，涵盖所有六种主/谓/宾线性化方式，[17]也采用了六种基词序但使用了不同的形式体系。六种基词序与2^5种转换配置结合，产生了192种具有固定词序的人工语言；（3）我们将词汇表规模从约1,400个扩展到50,000个伪词，这些伪词由Wuggy根据wordfreq中最常见的英语单词生成，并使用齐普夫采样权重（每个词类α=1.0），详见附录A.1。 ### 3.2 自然语言 #### 词序聚类 为便于人工语言和自然语言实验之间的比较，我们使用与人工语言相同的编码方案对每种自然语言进行分类。我们从类型学数据库WALS、Grambank和APiCS获取词序标签，并将其映射到我们的人工语言标签（例如，英语→SVO-RRRLR，日语→SOV-LLLLL）。我们通过基于针对个别语言的同行评审出版物进行人工验证来补充数据库标签，并使用lang2vec和URIEL+进行语言聚类和特征提取。对于给定特征具有非二元值或缺失值的语言被排除在我们的分析之外。完整的特征映射过程和覆盖范围统计见附录A.2。我们注意到，类型学数据库分类通常基于语法描述而非语料库频率，并且单一的分类标签可能掩盖渐进的词序变异；更多细节见“局限性”部分。 #### 数据 我们在两个数据集上进行评估。我们的主要评估集是FLORES-200，它提供了跨多种类型学语言的平行句子。我们还在平行通用依赖树库（PUD）上进行评估，其涵盖的所有语言也在FLORES-200中，这既验证了我们的FLORES-200发现，也提供了...
相似文章
多重潜在排序更好预测语言模型偏好
本文提出语言模型中的非传递偏好源于多重潜在排序，并引入混合Bradley–Terry模型进行分析，在各种模型和任务上显示出更强的解释力。
跨语言模型架构的神经激活模式：认知任务性能的综合分析
本文分析了六种LLM架构在认知任务上的神经激活模式，揭示了编码器和解码器模型在注意力熵和稀疏性上的差异。
基于Transformer的语言模型在垂直领域中的应用：架构、应用与批判性评估
对基于Transformer的语言模型的全面综述，涵盖架构、在医疗、金融、法律等垂直领域的应用，以及对计算成本、对齐和数据来源等权衡因素的批判性评估。
LLM蕴含多样性：部署环境如何重塑模型层面的偏好与价值观
本文探讨大型语言模型在不同部署环境中是否具有稳定的偏好，发现环境变化引起的差异远大于提示扰动，表明测得的偏好是环境条件决定的而非固定属性。
大语言模型能够解读 Matrix
# 大语言模型如何"解码矩阵" ## 引言 在科幻电影《黑客帝国》中，"矩阵"是一层覆盖现实的伪装，只有具备足够洞察力的人才能看穿其编码背后的真相。而在人工智能领域，"矩阵"有着截然不同的含义——它既是模型内部的权重矩阵，也是数据被"编码"后所呈现的隐藏结构。近年来，一系列实验表明：大语言模型（LLM）不仅能理解表面文本，还能从看似随机的乱码、混淆的格式和伪装的数据中恢复出有意义的结构。这究竟意味着什么？它揭示了 Transformer 内部怎样的工作机制？ ## 什么是"解码矩阵"？ 这里的"解码矩阵"并不是某个具体的算法，而是一类现象的统称： - **编码数据**：被 Base64、ROT13、位移、字节混淆等方式处理过的文本； - **结构化隐藏信息**：埋藏在噪声、随机 token 或填充文本中的表格、JSON、密文等； - **模型内部的权重矩阵**：研究者试图解读模型参数所承载的"知识"。 在这些场景下，模型都展现出一种令人惊讶的能力——它能"看穿"表面的伪装，还原出底层的模式。这很像电影里 Neo 第一次看见矩阵代码流：混乱之中，秩序正在成形。 ## 模型如何做到这一点？ ### 1. 模式匹配与上下文推断 语言模型本质上是极其强大的模式补全器。当输入中存在可识别的变换规律（例如 Base64 的字符集特征、ROT13 的字母偏移规律），模型会基于训练数据中见过的类似模式进行补全与还原。 关键在于，模型并不要求人类明确告知它"这是 Base64 编码"。只要上下文线索足够，它就能自行识别变换类型，并给出解码结果。 ### 2. 多层特征的逐步抽象 Transformer 的每一层都在对输入进行不同程度的抽象： - 低层捕获 token 级别的字符规律； - 中层开始识别词法与句法结构； - 高层则整合出语义与逻辑关系。 这种分层结构意味着，即使输入是"乱码"，低层特征也能先捕捉到编码的统计特征（如字符分布、频率模式），再由高层将其转化为可理解的内容。这正是"解码"能够发生的机制基础。 ### 3. 训练数据中的隐含知识 模型在预训练阶段接触了海量的代码、加密材料、编码示例和数学文献。它实际上已经"见过"各种编码方式的规律。当面对新的编码输入时，模型并非在实时破解，而更像是在调用一份庞大的"变换词典"。 ## 这揭示了什么？ ### Transformer 内部的"计算图景" 如果模型能够从加密或混淆的输入中恢复信息，说明其内部已经形成了某种关于编码规则的表征。研究者通过探针实验（probing experiments）和激活分析（activation analysis）发现： - 特定的注意力头负责检测字符替换规律； - 某些层的激活值与已知的 Base64 解码器输出高度相关； - 模型可以在不需要显式编程的情况下执行类似"变换推理"的任务。 这表明 Transformer 不只是在做"下一个词预测"，它实际上在执行一系列可被解读的中间计算。 ### 知识与能力的边界 模型能解码，不等于模型真正"理解"了加密。它的能力更多来自统计规律的泛化，而非逻辑推理。这一点在面对更复杂的编码（如变种密码、领域特定的混淆方案）时会明显暴露：模型的成功率会显著下降，而且往往无法解释自己的推导过程。 ### 对安全与隐私的启示 这一能力也有现实意义： - 如果模型能解码"乱码"，那么简单的编码并不足以保护敏感信息； - 用于检测和清洗数据的工具，需要考虑模型这种"反编码"能力； - 对抗性场景（adversarial settings）中，攻击者可能利用模型的解码能力从看似无害的数据中提取私密信息。 ## 未来方向 1. **可解释性研究**：继续追踪模型内部的解码路径，弄清"知识"究竟储存在哪些权重和注意力头中； 2. **受控实验**：通过人为构造的编码任务，量化模型在不同变换复杂度下的性能边界； 3. **安全防护**：开发能够识别并防御模型解码攻击的机制，例如对编码数据进行主动混淆或扰动。 ## 结语 大语言模型解码"矩阵"的能力，本质上反映的是 Transformer 对模式的极致敏感性。它既是模型强大之处的体现，也提醒我们：在信息的伪装与还原之间，模型已经站在了相当有利的位置上。理解这一机制，不仅能帮助我们更好地利用模型，也能让我们在构建更安全、更透明的系统时，做出更清醒的判断。 毕竟，在矩阵的世界里，看穿伪装的人往往最先意识到：伪装本身，也是数据。