使用跨语言对齐预测LLMs的多语言分类和翻译性能——英语足够吗？

# 使用跨语言对齐预测大语言模型的多语言分类与翻译性能——英语足够吗？ 来源：https://arxiv.org/html/2608.03446 Adnan Al Ali1、Kathy Hämmerl2,3、Jindřich Libovický1、Alexander Fraser2,3 1查理大学，数学与物理学院，捷克共和国 2慕尼黑工业大学，德国 3慕尼黑机器学习中心 通讯作者：alali@ufal\.mff\.cuni\.cz (https://arxiv.org/html/2608.03446v1/mailto:[email protected]) ###### 摘要 多语言大语言模型（LLMs）已被证明在非英语分类任务上表现更好，当给定语言在模型中的表示与英语对齐程度更高时。针对LLMs，已提出了多种跨语言对齐（CLA）分数，以及多种从模型中提取嵌入的方法。我们对27种CLA分数变体进行了比较分析，考察它们之间的差异以及每种变体对三个任务下游性能的预测能力。关键的是，虽然LLMs被广泛用于机器翻译等生成式任务，但先前的工作几乎只关注分类任务。因此，我们研究CLA分数是否同样能预测翻译性能。为了能够计算跨目标语言的相关性，我们提出了一种基于PMI的翻译评估指标，该指标对目标语言的依赖较小，且与chrF高度相关。我们发现，与英语的CLA预测翻译质量的效果与源语言–目标语言CLA相当或更好，这为LLMs使用英语作为内部枢轴语言提供了新的证据。 使用跨语言对齐预测大语言模型的多语言分类与翻译性能——英语足够吗？ Adnan Al Ali1、Kathy Hämmerl2,3、Jindřich Libovický1、Alexander Fraser2,3 1查理大学，数学与物理学院，捷克共和国 2慕尼黑工业大学，德国 3慕尼黑机器学习中心 通讯作者：alali@ufal\.mff\.cuni\.cz (https://arxiv.org/html/2608.03446v1/mailto:[email protected]) ## 1 引言 多语言大语言模型（LLMs）在机器翻译（goyal\-etal\-2022\-flores）、阅读理解（bandarkar\-etal\-2024\-belebele）和文本分类（adelani\-etal\-2024\-sib）等任务中展现出卓越的多语言能力（singh\-etal\-2025\-global）。虽然这些能力已被广泛基准测试，但我们对多语言机制的理解仍然有限。跨语言对齐（CLA）分数能够可靠地预测LLMs在非英语下游任务上的性能，而无需显式运行这些任务，如ravisankar2026mapenglishrolecrosslingual\-dali和kargaran\-etal\-2025\-mexa所示。它们专门测量与英语的对齐分数，其依据是LLMs在其隐藏状态中将提示隐式翻译为英语（wendler\-etal\-2024\-llamas\-think）。对齐分数可以从嵌入（kargaran\-etal\-2025\-mexa；del\-fishel\-2022\-cross\-anc；artetxe\-schwenk\-2019\-margin\-xsim等）或分词（hammerl\-etal\-2025\-beyond；limisiewicz\-etal\-2023\-tokenization）中获得。在本工作中，我们全面回顾了现有的获取基于句子嵌入的CLA分数的方法，包括句子嵌入提取。我们测试了这些分数与三个任务性能之间的相关性：（1）*SIB\-200*（文本分类；adelani\-etal\-2024\-sib），（2）*Belebele*（阅读理解；bandarkar\-etal\-2024\-belebele），以及（3）*Flores\-200*和*BOUQuET*（机器翻译；nllbteam2022languageleftbehindscaling\-flores200；andrews\-etal\-2025\-bouquet）。CLA已在仅编码器模型上得到了广泛研究，但只有少数近期论文关注仅解码器模型（hammerl\-etal\-2025\-beyond；ravisankar2026mapenglishrolecrosslingual\-dali；kargaran\-etal\-2025\-mexa），且没有一篇涉及翻译任务，而该任务尽管非常流行，却研究不足。因此，我们的工作集中于翻译。据我们所知，之前没有工作考察过CLA分数对翻译性能的影响。我们旨在回答一个关键问题：当从源语言src翻译到目标语言tgt时，哪种CLA更能预测质量：（1）src\-tgt，（2）src\-en，还是（3）en\-tgt？为了回答这个问题，我们提出了一种基于逐点互信息（PMI）的翻译评估指标，其表现与chrF相似，但对目标语言的依赖更小——这一特性对我们的分析至关重要。我们通过在不同对齐方向的集成中寻找最优权重，来分析CLA分数对预测的贡献。我们的发现表明，与英语的CLA分数（src\-en和en\-tgt）通常更具预测性，这从一个尚未探索的角度为LLMs使用英语作为枢轴语言的主张提供了新证据。 本工作的主要贡献如下： 1：全面回顾了现有的从句子嵌入测量CLA分数的方法。 2：一种新的多语言少样本方法，用于从LLMs中提取句子嵌入（第3.1节 (https://arxiv.org/html/2608.03446#S3.SS1)）。 3：将CLA在LLMs中的研究扩展到机器翻译（第6节 (https://arxiv.org/html/2608.03446#S6)）。 4：一种新的翻译评估指标，对目标语言的依赖性较低（第6.1节 (https://arxiv.org/html/2608.03446#S6.SS1)）。 5：为LLMs使用英语作为内部枢轴语言的主张提供了新证据。 我们在GitHub上发布了代码。111https://github.com/KathyHaem/cla-metrics ## 2 背景与相关工作 #### 跨语言对齐。 广义上，CLA是“无论语言如何，相似含义具有相似表示”（hammerl\-etal\-2024\-understanding）。先前的工作使用各种测量该概念的方法来估计仅编码器模型中的零样本跨语言迁移（conneau\-etal\-2020\-emerging；del\-fishel\-2022\-cross\-anc；limisiewicz\-etal\-2023\-tokenization），以及仅解码器模型基于与英语对齐的性能（kargaran\-etal\-2025\-mexa；ravisankar2026mapenglishrolecrosslingual\-dali）。虽然我们关注后者，但为编码器模型开发的方法可以以最小的修改适用于解码器。基于嵌入的CLA也已在编码器-解码器机器翻译中得到研究。kudugunta\-etal\-2019\-investigating和qu\-etal\-2025\-languagesused使用嵌入的相似性来表明，当目标语言已知时，编码器会将输入句子映射到该语言的空间（而不是与语言无关的空间）。相比之下，从LLM获得的句子嵌入完全不知道目标语言或整个翻译任务，这大大改变了对齐的预测特性。 #### 获取文本嵌入。 嵌入级别的对齐分数（如下所述）需要每个句子的固定长度向量表示。222虽然我们使用传统语言学意义上的句子，但任何足够长的文本块在此上下文中都可以视为句子。相比之下，LLMs为每个单独的token分配一个隐藏状态（嵌入）。存在多种将token嵌入池化为单个向量的方法；我们将其称为*句子表示*。取嵌入的*均值*是一个直接的选择；然而，jiang\-etal\-2022\-promptbert发现，这种方法在使用BERT（devlin\-etal\-2019\-bert）时，在语义相似性任务上比平均静态嵌入表现更差。在仅解码器Transformer（transformers）中，注意力被掩蔽，使得每个token只能关注之前的token，这意味着后面的token携带更多信息。*位置加权均值*（p\-wm；muennighoff2022sgptgptsentenceembeddings）利用了这一特性，通过计算嵌入的加权均值，权重与位置索引成比例。或者，可以直接使用*最后一个token*的嵌入。为了更好地聚合句子含义，（jiang\-etal\-2022\-promptbert，jiang\-etal\-2024\-scaling）提出了提示This sentence: "\[text\]" means in one word: "。然而，这种方法需要将提示人工翻译成所考虑的每一种语言，这很难获得；否则，嵌入将隐式反映英语与被考察语言之间的对齐。为了完整性，我们在实验中使用此处列出的所有句子表示，包括英语提示，并在第3.1节 (https://arxiv.org/html/2608.03446#S3.SS1)中使用我们的新方法扩展此列表。 #### 嵌入级别的对齐分数。 考虑一个包含D对源语言和目标语言句子的平行数据集，表示为d维向量。假设嵌入存储在矩阵S∈Rd×DS\\in\\mathbb\{R\}^\{d\\times D\}（源语言）和T∈Rd×DT\\in\\mathbb\{R\}^\{d\\times D\}（目标语言）中。我们考虑以下指标。最直接的方法，平均余弦相似度，是每对句子的平均cos⁡\(S∗i,T∗i\)=S∗iT∗i⊤∥S∗i∥∥T∗i∥，\\cos\(S\_\{\*i\},T\_\{\*i\}\)=\\frac\{S\_\{\*i\}T\_\{\*i\}^\{\\top\}\}\{\\lVert S\_\{\*i\}\\rVert\\lVert T\_\{\*i\}\\rVert\}，(1) 然而，ethayarajh\-2019\-contextual指出嵌入占据各向异性空间，使得直接比较不可靠。*xSIM*（artetxe\-schwenk\-2019\-margin\-xsim）通过计算平行语料检索的准确率来间接使用余弦相似度。在其最简单的形式abs中，两个嵌入之间的检索相似度就是它们的余弦相似度cos⁡\(S∗i,T∗i\)\\cos\(S\_\{\*i\},T\_\{\*i\}\)。为了缓解尺度不一致问题，dist和ratio变体使用S∗iS\_\{\*i\}与T∗iT\_\{\*i\}的余弦相似度与其各自语言内kk个最近邻的平均余弦相似度之间的间隔：margin\(cos\(S∗i,T∗i\),12k\(∑S∗j∈kNN\(S∗i\)cos\(S∗i,S∗j\)\+∑T∗j∈kNN\(T∗i\)cos\(T∗i,T∗j\)\)\)\\mathrm\{margin\}\\Bigl\(\\cos\(S\_\{\*i\},T\_\{\*i\}\)，\\\\ \\frac\{1\}\{2k\}\\Bigl\(\\sum\\nolimits\_\{S\_\{\*j\}\\in\\mathrm\{kNN\}\(S\_\{\*i\}\)\}\\cos\(S\_\{\*i\},S\_\{\*j\}\)\\\\ \+\\sum\\nolimits\_\{T\_\{\*j\}\\in\\mathrm\{kNN\}\(T\_\{\*i\}\)\}\\cos\(T\_\{\*i\},T\_\{\*j\}\)\\Bigr\)\\Bigr\) (2) 其中marginmargin\(a,b\)\\mathrm\{margin\}\(a,b\)对于dist是a−ba\-b，对于ratio是a/ba/b。Daliweak（ravisankar2026mapenglishrolecrosslingual\-dali）在上下文集上计算检索准确率，其中每个样本由上下文cc和补全a1,...,ana\_\{1\},\\dots,a\_\{n\}组成，其中恰好一个是正确的（a∗a^\{\\ast\}）。如果正确的源语言上下文-补全对与其目标语言翻译的余弦相似度大于任何错误的目标语言补全，则检索成功：argmaxatgt⁡\(cos⁡\(csrca∗src,ctgtatgt\)\)=a∗tgt。\\operatorname\*\{arg\\,max\}\_\{a^\{\\mathrm\{tgt\}\}\}\\bigl\(\\cos\(c^\{\\mathrm\{src\}\}a^\{\\ast\\mathrm\{src\}\},c^\{\\mathrm\{tgt\}\}a^\{\\mathrm\{tgt\}\}\)\\bigr\)=a^\{\*\\mathrm\{tgt\}\}。(3) 在我们的实验中，我们使用Belebele（bandarkar\-etal\-2024\-belebele）作为上下文和补全的数据集。最后，平均神经元级相关（ANC；del\-fishel\-2022\-cross\-anc）利用了SS和TT矩阵的另一维度；对于嵌入向量中的每个位置（“神经元”）j∈\{1,...,d\}j\\in\\\{1,\\dots,d\\\}，计算数据集中第jj行的Pearson相关系数ρ\(Sj⁣∗,Tj⁣∗\)\\rho\(S\_\{j\*\},T\_\{j\*\}\)，并返回每个神经元的平均值，而不是处理存储在列中的单个句子嵌入。我们在实验中测试所有列出的方法。 #### 分词器级别的对齐分数。 语言之间的词汇重叠长期以来一直被认为是跨语言迁移的一个因素（例如，wu\-dredze\-2019\-beto）。limisiewicz\-etal\-2023\-tokenization不仅仅是计算共享token的数量，而是使用两种语言token分布的相似性来预测某些任务上的下游迁移性能。然而，跨文字边界共享的token非常少。hammerl\-etal\-2025\-beyond表明，子词token可对齐性比字面上的子词token分布重叠更能预测下游迁移。他们通过Eflomal词对齐器（ostling2016efficient）的对数似然分数来定义token可对齐性，该分数在平行语料库中所有句对上进行平均。eflomal分数作为分词器支持跨语言学习共享语义的能力的代理，其运作方式与嵌入级别的对齐分数有很大不同。 #### 英语作为枢轴语言。 当代LLMs主要使用英语数据进行训练（openai2024gpt4technicalreport），但在其他语言上表现良好。wendler\-etal\-2024\-llamas\-think通过检查Llama 2（touvron2023llama2openfoundation）的隐藏层来研究这一点，其预训练数据中89.7%是英语。他们提示模型在两种非英语语言之间翻译一个词，解码中间隐藏状态，发现生成的token通常是所翻译单词的英语对应词，这表明即使以另一种语言提示，模型也在内部使用英语操作。我们从不同角度使用新颖的方法为该主张提供了额外证据。kargaran\-etal\-2025\-mexa和ravisankar2026mapenglishrolecrosslingual\-dali在此基础上表明，给定语言与英语之间的基于检索的CLA与该语言在阅读理解、语言理解和叙事理解等任务上的单语性能相关性良好。显式使用高资源语言（如英语）作为枢轴一直是机器翻译中的常见做法。这些技术包括以枢轴语言作为中间步骤进行翻译、生成基于枢轴的合成数据，或迁移在枢轴语言上训练的模型（kim\-etal\-2019\-pivot）。上述证据表明，这种方法也出现在LLMs中。我们旨在使用CLA进一步研究这种行为。 参见说明 图1：从西班牙语到英语翻译的示例两样本提示对话。 #### 少样本提示。 少样本提示涉及向LLM展示多个已解决的任务示例，然后是一个未解决的实例。模型随后遵循先前的模式并为该实例生成答案。这种方法对于非指令微调模型很典型（lms\-are\-fewshot）。在我们的一些实验中，我们选择少样本方法并利用其没有显式指令的特点，因为将提示翻译成所有语言是不可行的，而使用共享的英语提示会隐式嵌入与英语的对齐。我们进一步将少样本学习方法扩展到指令微调的LLMs，其中我们将聊天模板应用于传统的少样本提示，以模拟没有显式指令的对话。图1 (https://arxiv.org/html/2608.03446#S2.F1)展示了一个用于翻译的少样本提示示例。 ## 3 实验设置 在我们的实验中，我们使用五种方法将句子表示为固定长度向量，并使用六种方法从这些表示中测量CLA分数，再加上一种分词器级别的CLA指标，总共产生27种可行组合。我们考察这些组合与下游任务性能的相关性。我们使用以下模型的基础版和指令微调版进行实验：Qwen3\-14B\[\-Base\]（yang2025qwen3technicalreport）、gemma\-3\-12b\-\{pt,it\}（gemmateam2025gemma3technicalreport）和Ministral\-3\-14B\-\{Base,Instruct\}\-2512（liu2026ministral3）。为了确保公平比较，我们禁用了所有模型的思维链阶段。在所有实验中，我们使用44种语言，涵盖不同的语系、资源丰富度和书写系统。