粤语适配语言模型是否能更好地预测粤语阅读？一项跨模型眼动追踪评估

# 粤语适配语言模型是否能更好地预测粤语阅读？一项跨模型的眼动追踪评估
来源：https://arxiv.org/html/2609.02163

张子琪  
所属机构：香港理工大学语言科技系  
电子邮件：[zhangziqi\.bram@gmail\.com](mailto:)  
Emmanuele Chersoni  
所属机构：香港理工大学语言科技系  
电子邮件：[emmanuelechersoni@gmail\.com](mailto:)  
Mohammad Momenian  

###### 摘要

基于自回归语言模型推导的信息论指标被广泛用于刻画塑造人类阅读的预期，但针对特定语言变体的训练是否能够提升这种心理语言学层面上的契合度，目前仍不明确。

对于粤语而言，这个问题依然悬而未决。近期的自然语言处理评估显示，相对于面向普通话或通用目的的模型，专门针对粤语训练所带来的益处说法不一。

我们使用自然状态下的粤语眼动追踪数据，比较了两组家族内部的适配对比：CKIP GPT-2 Tiny 及其轻度粤语适配的衍生模型 JED351，以及 Qwen2.5-7B 与 CantoneseLLM-7B（后者经过了更全面的粤语继续预训练和指令微调）。从每个模型中，我们推导出词汇惊奇度、词性惊奇度、目标词前的熵以及熵减少量。词汇惊奇度和联合四项指标模型一致地偏好 CantoneseLLM-7B，其次是 Qwen2.5-7B、CKIP 和 JED351，而熵减少量则偏好 CKIP。这些结果表明，更全面的粤语专项训练可能与更强的预测拟合度相关，同时模型排名也取决于所评估的具体信息论指标。

## 1 引言

读者为不同的单词分配不同的阅读时间，这使得眼动追踪成为衡量在线语言处理的一种敏感方法（Attardo 和 Pickering, 2023 (https://arxiv.org/html/2609.02163#bib.bib14)）。这种变异的一个核心解释是，当一个词在其上下文中不被预期时，处理难度会增加（Hale, 2001 (https://arxiv.org/html/2609.02163#bib.bib2); Levy, 2008 (https://arxiv.org/html/2609.02163#bib.bib3)）。自回归语言模型通过为可能的延续分配概率分布来具体化这一解释。它们的概率不仅支持词汇惊奇度，还支持词语前的不确定性度量以及观察到该词后的概率更新（Hale, 2016 (https://arxiv.org/html/2609.02163#bib.bib4); Pimentel et al., 2023 (https://arxiv.org/html/2609.02163#bib.bib6)）。具有独特书写系统和分词特性的中文阅读，也催生了专门的眼动控制和词汇处理模型（Rayner et al., 2007 (https://arxiv.org/html/2609.02163#bib.bib29); Li 和 Pollatsek, 2020 (https://arxiv.org/html/2609.02163#bib.bib30)）。

眼动预测已从单一高资源语言扩展到多语言评估（Hollenstein et al., 2021a (https://arxiv.org/html/2609.02163#bib.bib16); Hollenstein et al., 2021b (https://arxiv.org/html/2609.02163#bib.bib15); Hollenstein et al., 2022 (https://arxiv.org/html/2609.02163#bib.bib17); Salicchi et al., 2022 (https://arxiv.org/html/2609.02163#bib.bib18)），但区域性及资源不足的语言变体相对来说探索仍然不足。粤语提供了一个有启发性的案例，因为明确的粤语专项训练的价值本身在当前的自然语言处理研究中尚无定论。尽管粤语被广泛使用，其文本资源仍远少于普通话可用的资源，粤语自然语言处理系统经常依赖于来自面向普通话模型的迁移（Jiang et al., 2025 (https://arxiv.org/html/2609.02163#bib.bib35); Min et al., 2025 (https://arxiv.org/html/2609.02163#bib.bib34)）。

然而，近期的评估对于这种适配的必要性提供了混合的证据。中国开发的大型语言模型在中文语言（指普通话）方面并不一定比西方开发的模型表现出更广泛的优势，其最明显的优势集中在普通话上（Wang et al., 2026 (https://arxiv.org/html/2609.02163#bib.bib32)）。粤语专项评估同样表明，大型通用模型仍可保持高度竞争力，并且在粤语语言和文化知识方面存在重大局限性（Cheng et al., 2025 (https://arxiv.org/html/2609.02163#bib.bib33)）。相比之下，粤语适配模型在最近的粤语自然语言理解基准测试中总体表现最佳，尽管普通话模型在多项任务上仍具竞争力（Min et al., 2025 (https://arxiv.org/html/2609.02163#bib.bib34)）；大规模的粤语继续预训练和有监督微调也在专门的粤语基准测试中取得了显著提升（Jiang et al., 2025 (https://arxiv.org/html/2609.02163#bib.bib35)）。综合来看，这些结果表明，将模型训练与粤语匹配并不能保证一致的优势：其益处似乎取决于适配策略和具体的评估任务。

现有的粤语自然语言处理研究主要评估在语言、推理或文化基准上的表现。目前尚不清楚粤语适配模型与更通用模型之间的差异，是否延伸到最能预测人类在线语言处理的预期概率上。我们使用 MCFIX（Li et al., 2023 (https://arxiv.org/html/2609.02163#bib.bib1)）的粤语部分来解决这个问题，该数据集包含了对《小王子》粤语翻译版本的自然阅读（NR）和特定任务阅读（TSR）测量。我们比较了两组家族内部的适配对比：CKIP GPT-2 Tiny 中文模型及其粤语适配的衍生模型 JED351，以及 Qwen2.5-7B 与 CantoneseLLM-7B（后者基于 Qwen2.5 通过面向粤语的继续预训练和指令微调开发）。对于每个模型，我们估计了四个信息论预测指标：词汇惊奇度、词性惊奇度、目标词前的熵以及熵减少量。这些度量共同描述了预测处理的互补方面，从目标词前的不确定性、目标词处的词汇或句法类别预期，到观察到目标词后的不确定性变化。

我们的研究探讨了三个问题。首先，这些信息论指标是否在传统的词汇、位置、词性和依存关系预测指标之外，提升了预测能力？其次，在每个模型家族内部，粤语专项训练是否提高了预测价值，且较轻和更全面的适配策略之间的模式是否不同？第三，这些模式在不同的眼动追踪测量指标（如首次注视时长 FFD 和总注视时长 TFD）以及不同的阅读任务之间是否存在差异？

本研究的主要贡献有三点：(i) 对两大小型和两大小型语言模型进行了匹配比较，安排为两组家族内部的粤语适配对比；(ii) 联合评估了词汇惊奇度、词性惊奇度以及两种基于熵的度量，这些度量描述了预测处理的互补方面；(iii) 进行了五种子的鲁棒性分析、阅读任务比较和预测变量块消融实验。

## 2 背景

### 2.1 信息论预测指标

我们选择了四个信息论指标，以区分围绕每个目标词的基于模型预期的互补方面。“目标词前的熵”捕捉遇到目标词之前的不确定性；“词汇惊奇度”量化对观察到的词本身的预测误差；“词性惊奇度”捕捉在句法类别层面的预测误差；而“熵减少度”衡量观察目标词如何改变对下一个延续的不确定性。我们并不假设这些度量与离散的认知阶段一一对应，但它们共同描述了目标前预期、目标层级期望以及目标后的概率更新。

对于目标词 \(w_t\) 及其前文上下文 \(c_t\)，**词汇惊奇度** 计算为：

\[
S(w_t) = -\log_2 P(w_t \mid c_t). \quad (1)
\]

它代表了观察到的词所传达的信息：一个低概率的延续具有高的惊奇度。模型推导的词汇惊奇度已被广泛用于预测跨语言和眼动设置下的阅读行为（Hollenstein et al., 2021b (https://arxiv.org/html/2609.02163#bib.bib15); Salicchi et al., 2023 (https://arxiv.org/html/2609.02163#bib.bib31); Wilcox et al., 2023 (https://arxiv.org/html/2609.02163#bib.bib7)）。

**词性惊奇度** 抽象了词语本身。给定目标词性 \(z_t\) 和分配给该词性的词汇候选项，我们估计该类别的总概率，并定义：

\[
S(z_t) = -\log P(z_t \mid c_t). \quad (2)
\]

与仅记录观察到的类别的词性虚拟变量不同，词性惊奇度量化了该类别在当前上下文中的预期程度；相关的基于GPT-2的词性惊奇度已被用于研究自然语言理解中的句法类别预测（Heilbron et al., 2022 (https://arxiv.org/html/2609.02163#bib.bib8)）。

**目标词前的熵** 衡量模型在目标词之前的下一个词分布的离散程度：

\[
H_{\mathrm{before}} = -\sum_{v \in V} P(v \mid c_t) \log_2 P(v \mid c_t). \quad (3)
\]

它捕捉的是预期不确定性，而非实际出现的词的意外性，且上下文熵已被证明在词汇惊奇度之外，能预测阅读时间的变异（Pimentel et al., 2023 (https://arxiv.org/html/2609.02163#bib.bib6); Wilcox et al., 2023 (https://arxiv.org/html/2609.02163#bib.bib7)）。

最后，我们定义**下一个词熵减少度**指标为：

\[
ER_t = H_{\mathrm{before}} - H_{\mathrm{after}}, \quad (4)
\]

其中 \(H_{\mathrm{after}}\) 是将当前词加入上下文后下一个词分布的熵。这个操作化定义衡量了下一个词延续的不确定性的符号变化，应与概率语法中的解析状态熵减少区分开来。相关的熵减少度指标已被用于建模自然阅读和自然语言理解（Lowder et al., 2018 (https://arxiv.org/html/2609.02163#bib.bib5); Song et al., 2024 (https://arxiv.org/html/2609.02163#bib.bib9)）。

### 2.2 粤语眼动追踪数据

MCFIX 提供了平行的普通话和粤语眼动语料库（Li et al., 2023 (https://arxiv.org/html/2609.02163#bib.bib1)）。粤语语料库是在两种阅读条件下，从 30 名母语者中收集的：NR，参与者为理解而阅读；TSR，参与者在文本中搜索指定信息。该数据集包括词汇层面的首次注视时长（FFD）、第二次注视时长（SFD）和总注视时长（TFD）。

该数据集还提供了词汇、位置、词性、依存关系和邻域标注，用作我们基线模型中的传统预测指标。这些变量的动机源于先前的研究，表明频率、词长、句法结构和溢出效应对中文和多语言阅读中的眼动有影响（Yan et al., 2006 (https://arxiv.org/html/2609.02163#bib.bib19); Zang et al., 2018 (https://arxiv.org/html/2609.02163#bib.bib20); van Schijndel 和 Schuler, 2015 (https://arxiv.org/html/2609.02163#bib.bib22); Pollatsek et al., 2008 (https://arxiv.org/html/2609.02163#bib.bib21)）。粤语频率和邻域信息来源于 Cifu（Lai 和 Winterstein, 2020 (https://arxiv.org/html/2609.02163#bib.bib23)）。Li 及其同事进一步表明，语言和 GPT 推导的预测指标对 MCFIX 具有信息性。

## 3 数据与模型

### 3.1 数据与结果变量

我们使用了 MCFIX 的繁体字粤语部分。原始数据包含 5,072 行 NR 和 5,071 行 TSR。移除没有可分析词汇目标的观测值后，得到 10,097 行，与报告的粤语数量 5,050 (NR) 和 5,047 (TSR) 相匹配。为了在所有四个语言模型上比较相同的观测值，我们取交集，确保每个所需的指标都可用。冻结后的样本包含 10,011 行任务级数据：5,007 行 NR 和 5,004 行 TSR 观测值。被排除的 86 行占 10,097 行分析集的不到 1%。

结果变量是以毫秒为单位的总时长：首次注视时长（FFD）、第二次注视时长（SFD）和总注视时长（TFD）。NR 和 TSR 观测值被联合分析，阅读任务作为指示预测变量纳入。我们报告了整体交叉验证性能以及在 NR 和 TSR 子集上分别计算的性能。

### 3.2 语言模型

表 1 (https://arxiv.org/html/2609.02163#S3.T1) 总结了比较情况。模型对的选择旨在提供两种不同规模的粤语适配对比，同时保持架构固定。在小型模型对中，JED351 源自 CKIP GPT-2 Tiny 中文模型 [^1]。中间 JED351 基础模型 [^2] 用粤语字符修补了 CKIP 的分词器和嵌入矩阵，但尚未在粤语上训练；本文使用的模型随后在约 50 MB 的粤语维基百科文本上微调了十个周期。在大型模型对中，CantoneseLLM-7B 直接源自 Qwen2.5-7B，允许比较一个广泛预训练的中文能力基础模型和一个接受了更全面粤语专项训练的衍生模型。

**表 1：** 本文评估的自回归模型，安排为两组家族内部的粤语适配对比。模型描述遵循发布的模型仓库和文档，以及 Qwen2.5 技术报告（Yang et al., 2024 (https://arxiv.org/html/2609.02163#bib.bib12)）。根据 CantoneseLLM 的文档，该模型在源自公开可用的香港新闻和粤语网站的大型语料库上，对 Qwen2.5-7B 进行了继续预训练，随后在 75,000 个对上进行了有监督的指令微调（hon9kon9ize, 2025 (https://arxiv.org/html/2609.02163#bib.bib13)）。因此，这些比较代表了差异很大的粤语适配策略：JED351 结合了词汇扩展和在相对有限的粤语文本上进行微调，而 CantoneseLLM-7B 则结合了广泛的粤语继续预训练和有监督的指令微调。

## 4 方法

### 4.1 指标提取

对于每个目标词，使用其前的句内上下文从每个语言模型中推导出四个信息论指标。多词元词汇惊奇度计算为目标词元的条件惊奇度之和。目标词前的熵定义为给定前文上下文时模型下一个词分布的熵，而目标词后的熵是在添加完整目标词后计算的；熵减少定义为它们的差值。词汇惊奇度和两个熵指标均以比特为单位表示。

词性惊奇度使用 Cifu 粤语词库（Lai 和 Winterstein, 2020 (https://arxiv.org/html/2609.02163#bib.bib23)）中的共同候选词表构建。Cifu 词使用 PyCantonese（Lee et al., 2022 (https://arxiv.org/html/2609.02163#bib.bib24)）被分配词性类别。