研究提示语言和响应语言对LLM内容生成的影响

# 探究提示语言与响应语言对大语言模型内容生成的影响
来源：https://arxiv.org/html/2608.26186  
Thi Thanh Nhan Nguyen* Mai Khoi Tieu*  
注：$*$表示同等贡献  
所属机构：挪威科技大学（NTNU），特隆赫姆，挪威  
Michael A. Riegler  
所属机构：SimulaMet，奥斯陆，挪威  
Pål Halvorsen  
所属机构：SimulaMet，奥斯陆，挪威  
Thu Nguyen  
所属机构：胡志明市技术大学信息技术学院，越南  

###### 摘要

本研究探究了提示语言与响应语言的选择如何塑造大语言模型（LLMs）的生成行为，超越表层语言变异，考察输出的结构和语义维度。使用五个模型——DeepSeek V3、GPT-4o、Phi-4-multimodal、Claude 3.5 Haiku 和 Gemini 2.5 Pro——我们在四个条件下评估了对68个非翻译问题（涵盖伦理、文化、健康和社会领域）的响应，这四个条件由提示语言×响应语言定义：英语→英语、英语→挪威语、挪威语→挪威语、以及挪威语→英语。排除在任何条件下被拒绝回答的条目后，我们的平衡数据集包含1,348条响应（每种条件337条）。响应长度差异使用 Cohen’s d 进行量化；语义保真度使用 LaBSE 余弦相似度（为避免截断进行分块平均）；跨语言关键词重叠则使用原始 Jaccard 指数和基于 LaBSE 的软 Jaccard 指数（将挪威语和英语关键词映射到共享嵌入空间）。我们发现提示语言对响应长度存在显著影响，这在不受混淆因素影响的同一响应语言对比中清晰可见：当响应语言固定为英语时，使用挪威语提示平均使响应缩短37%（英语提示427.8词 vs. 挪威语提示268.2词，d≈0.94）；当响应语言固定为挪威语时，使用英语提示使响应缩短41%。最大的单一跨语言单元格（英语→挪威语）在词数上缩短了52%（d≈1.32），但在词元（token）上仅缩短25%——因此，这一主要数字的部分差异反映了挪威语的更高子词分词器生成率，而非纯粹的模型压缩。所有条件下的余弦相似度保持较高水平（≈0.83，在分块平均嵌入下不变），而软 Jaccard 显示出显著的概念重叠（≈0.53），原始字符串 Jaccard 则无法体现（≈0.02）——这是概念转述而非字面翻译的直接证据。信息密度与长度呈近乎完美的单调反比关系，作为伴随指标而非独立效应报告。各模型的 Cohen’s d 范围差异很大（Phi-4≈0.78 到 GPT-4o≈4.42），因此综合效应在不同模型间具有异质性。提示语言并非中性参数：它塑造了输出长度和词汇实现，这对多语言提示工程具有重要意义。

###### 关键词：

大语言模型、跨语言提示、翻译压缩、文化框架、多语言自然语言处理、提示工程、信息密度  

††亮点：  
提示语言调节输出长度：提示语言对生成响应的长度施加了显著的结构性影响，且独立于指定的输出语言。  
跨语言压缩效应：使用英语提示生成挪威语响应时，产生了最显著的文本压缩（词数减少52%）；然而，这一现象部分归因于分词器生成率的差异，而非纯粹的生成压缩。  
通过概念转述实现语义保真：尽管输出长度大幅缩减，语义完整性在不同条件下仍保持高度稳定。模型利用概念转述而非字面翻译，在低表层词汇重叠的情况下保持了较高的跨语言嵌入相似度。  
与信息密度的反比关系：跨语言任务中观察到的结构压缩对应于信息密度近乎完美的单调增长，以更高的词汇效率传达等效的语义负载。  
架构异质性：这种翻译压缩效应的幅度在不同LLM架构间差异显著，高度冗长的模型表现出最显著的偏差。

## 1 引言

大语言模型（LLMs）在多语言环境中的应用引发了关于语言选择如何影响生成内容性质的关键问题。虽然LLMs能够处理各种语言的查询，但尚不清楚语言选择是仅影响语法，还是从根本上改变了底层信息检索和呈现策略。本研究通过分析模型在提示语言与响应所需语言不同时的响应行为来研究这些现象。

为进行此项研究，我们使用五个模型——DeepSeek V3、GPT-4o、Phi-4-multimodal、Claude 3.5 Haiku 和 Gemini 2.5 Pro——设计了一项实验。实验设计涉及使用四种语言排列方式（英语或挪威语提示，并请求任一语言的响应）在四个主题（伦理、文化、健康和社会）上提出相同的问题。

随后，我们从四个轴线分析了响应。首先，我们使用 Cohen’s d 量化“翻译压缩”效应的大小，区分响应长度的系统性偏移与随机变异。其次，为检查这种简洁性是否以意义为代价，我们使用语义相似度评估内容保真度，通过 LaBSE 嵌入对响应进行编码并计算其余弦相似度。第三，我们计算了信息密度，以检验较短的输出是更具信息密度还是仅仅被截断。最后，我们使用 Jaccard 指数测量词汇发散度，以区分字面翻译与概念转述。通过应用这些指标，本文为语言约束如何成为生成式人工智能中的“翻译压缩”和文化框架机制提供了定量证据。

简而言之，本工作的贡献如下。首先，我们系统评估了输入和输出语言约束如何影响现代LLMs的生成行为，超越性能基准，关注结构和语义变化。其次，我们引入了一个结合 Cohen’s d、基于LaBSE的语义相似度、信息密度和Jaccard词汇重叠的分析框架，以量化修辞阐述与信息效率之间的权衡。第三，使用2×2设计，我们表明“翻译压缩”是一种提示×响应交互作用，而非均匀的跨语言效应：最压缩的条件（英语提示→挪威语响应）比英语到英语生成大约短52%，信息密度约高2倍。最后，我们记录了语义内容（量化且基本保持，相似度≈0.83）与文化呈现之间的分离，我们定性地将其描述为随语言选择而变化。

本文其余部分组织如下。第2节（https://arxiv.org/html/2608.26186#S2）回顾相关工作。第3节（https://arxiv.org/html/2608.26186#S3）和第4节（https://arxiv.org/html/2608.26186#S4）详细说明实验设计，定义四种提示×响应语言条件以及评估指标：Cohen’s d、混合效应长度模型、基于LaBSE的余弦相似度（具有分块鲁棒性）、信息密度，以及用于关键词重叠的原始和LaBSE软Jaccard。第5节（https://arxiv.org/html/2608.26186#S5）报告定量结果，包括各模型异质性、长度效应的字符和词元级鲁棒性检查，以及语义-词汇分离。第6节（https://arxiv.org/html/2608.26186#S6）讨论候选机制（分词器生成率、RLHF冗余偏见、预训练语料不对称性、安全对冲）和局限性。第7节（https://arxiv.org/html/2608.26186#S7）以多语言提示工程的建议作结。

## 2 相关工作

多语言大语言模型（LLMs）的研究已从简单的性能基准演变为复杂的研究，探讨语言约束如何影响认知推理和文化对齐。本节回顾了与本研究相关的三个关键领域文献：跨语言提示的动态、相关文化方面和语义评估指标的演变。

### 2.1 跨语言提示与信息压缩

先前的研究广泛记录了现代LLMs的“英语中心”偏差，即由于预训练语料中英语数据的主导地位，模型在英语中表现出更优的推理能力[1,8]。因此，跨语言提示（使用英语等高资源语言提示以生成低资源语言的输出）已被提出作为在多语言任务中解锁更好推理能力的策略[14,18]。然而，这种语言转换对响应长度的结构性影响受到的关注较少。

尽管最近关于“提示膨胀”的研究表明过多的上下文可能降低推理能力[11,5]，但我们观察到的“翻译压缩”效应更符合语义压缩的研究发现。Gilbert等人[4]证明LLMs可以在保持语义本质的同时有效压缩文本，表明其在受限时具备蒸馏信息的内在能力。然而，他们将压缩作为明确任务进行研究，而我们观察到它在跨语言生成过程中自然出现。用另一种语言回答似乎充当了一种约束：模型更简洁地传达核心内容，并丢弃了许多英语到英语响应中典型的“对话填充词”。

### 2.2 语言决定论与文化框架

提示语言影响输出文化价值观和生成风格的假设——萨丕尔-沃尔夫假说的计算对应物——已获得实证支持[12,6]。Li等人[9]引入了“CultureLLM”来解决英语提示生成中固有的西方偏见，指出标准对齐技术常常无法捕捉本地文化细微差别。类似地，改变提示语言已被证明会使模型输出在“独立型”（西方）和“相互依存型”（东方）社会取向之间转换，有效地切换模型的活跃文化框架[12]。

我们的结果在长度和词汇实现渠道上与这一研究方向一致：输出随着指令语言系统性变化。然而，我们在本研究中未直接量化文化框架——我们将在第6节（https://arxiv.org/html/2608.26186#S6）讨论这一局限性。

### 2.3 多语言语境中的语义评估

评估跨语言生成的质量需要超越简单词汇重叠的指标。传统的n-gram指标如BLEU[13]或ROUGE[10]已被证明不足以捕捉开放生成中的语义保真度，尤其是当输出长度变化显著时[15]。转向基于嵌入的指标，如BERTScore[21]和LaBSE（语言无关BERT句子嵌入）[3]，可以量化跨语言的意义保持，而不受语法结构影响。

我们的方法采用了这些先进指标，但将其与信息密度分析相结合。虽然高语义相似度（通过LaBSE）确认了内容保持，但它并未衡量沟通效率。通过将语义稳定性与密度指标相结合，我们更细致地展示了LLMs在跨语言任务中如何权衡修辞阐述与信息紧凑性。

## 3 方法论

本节描述问题集、四种语言条件、查询的模型以及我们如何处理拒绝回答和翻译任务条目。

#### 问题集

问题涵盖四个主题：伦理、文化、健康和社会。20个文化问题由Tulu AI生成；20个伦理问题和20个社会问题由Microsoft Copilot生成；10个健康问题由作者手动编写，以包含现实的第一人称临床查询混合。问题来源在各主题间不一致；我们将其视为局限性（第6节）而非受控变量，并且未测试其是否系统性地影响所报告的指标。健康主题的问题较少（10个 vs. 20个），因为其中两个条目（Q9和Q10）是翻译任务（“请将此医疗报告摘要翻译成挪威语……”），这使响应语言过度确定，并且在所有挪威语提示条件下被每个模型拒绝；我们将它们排除在长度和密度分析之外（见下文），并在附录C中单独报告。这为每个模型留下了68个非翻译问题。英语问题列表见附录A；挪威语翻译由作者团队中的一位母语为挪威语的作者使用博克马尔语（Bokmål）完成，并与英语源文本进行随机抽查以确保语义等效。用于四种条件的确切提示模板见附录B。

#### 语言条件

每个问题在以下四种由提示语言×所需响应语言定义的条件下发布：

1. 英语提示→英语响应
2. 英语提示→挪威语响应
3. 挪威语提示→挪威语响应
4. 挪威语提示→英语响应

简写标签（*ee*, *en*, *nn*, *ne*）是内部速记；我们将其斜体化以区别于ISO 639-1语言代码。

#### 模型与解码

我们查询了五个模型：DeepSeek V3、GPT-4o（2024-08-06 Azure快照）、Phi-4-multimodal-instruct、Claude 3.5 Haiku（claude-3-5-haiku-latest）和Gemini 2.5 Pro（gemini-2.5-pro-preview-03-25）。每个问题在每个条件下查询一次（无采样）。对于GPT-4o、DeepSeek和Phi-4，解码设置在Azure上使用API默认值（max_tokens=1000）；Claude使用max_tokens=2000，temperature=1；Gemini使用SDK默认值。由于生成被限制，我们审核了输出是否被截断，并在附录D中报告结果；相当一部分响应——集中在挪威语输出条件而非较长的英语响应中——在句子中间终止，我们将在第6节作为局限性进行讨论。

#### 拒绝回答与平衡设计

三个条目被...