LLM欺骗行为与预训练语言覆盖度成反比

# LLM 的欺骗性行为与预训练语言覆盖度呈反比
来源：https://arxiv.org/html/2607.24769

###### 摘要

随着前沿模型能力的不断增强，AI 对齐在高风险部署场景中变得愈发关键。虽然近期工作已通过实证表明前沿语言模型存在上下文中的阴谋行为——即在伪装对齐的同时秘密追求错误对齐目标——但大多数研究仅在英语环境中进行，这导致了多语言安全性方面的重大空白。我们应用开源的自动审计框架 Petri 对 Qwen3-30B-A3B 进行评估，考察其跨多种语言的欺骗与阴谋行为。我们的研究结果表明，阴谋得分与预估的预训练语言覆盖度呈负相关，在五项阴谋指标上，低资源语言的平均得分比高资源语言高出 34.2%。此外，我们发现预估预训练语言覆盖度的影响在不同阴谋行为间并不一致。

机器学习，ICML

## 1 引言

随着 AI 系统越来越多地部署于高风险场景，如自主决策、医疗辅助和法律分析，确保模型的稳健对齐与安全变得愈发关键。然而，研究结果表明，模型已具备在上下文中进行阴谋行为的能力——即故意假装对齐的同时秘密追求其他错误对齐目标（Hubinger等人，2021 (https://arxiv.org/html/2607.24769#bib.bib2)；Carlsmith，2023 (https://arxiv.org/html/2607.24769#bib.bib3)）。多项前沿模型中已有实证证明了阴谋行为的存在（Meinke等人，2025 (https://arxiv.org/html/2607.24769#bib.bib19)），而 Claude 3 Opus 还展现出在没有明确指令的情况下进行对齐伪装，选择性地服从训练目标以阻止自身价值观的改变（Greenblatt等人，2024 (https://arxiv.org/html/2607.24769#bib.bib4)）。然而，现有缓解和理解阴谋行为的努力几乎全部在英语环境中进行，尽管有证据表明安全对齐在非英语语言中显著退化（Wang等人，2024 (https://arxiv.org/html/2607.24769#bib.bib27)）。相关工作表明，表面行为指标可能低估行为修正过程中内部表征变化的程度（Chaudhary 和 Barez，2025 (https://arxiv.org/html/2607.24769#bib.bib37)），并且适应过程甚至可以通过表面上良性的训练管道转移潜在的行为倾向（König等人， (https://arxiv.org/html/2607.24769#bib.bib40)）。由于预训练语料中语言浓度的差异，阴谋行为可能不会在各类语言中均匀泛化。本文中，我们呈现了一项关于六种语言——英语、西班牙语、中文、阿拉伯语、越南语和葡萄牙语——中阴谋与欺骗倾向的相关性研究，并考察观察到的变异是否与预估的预训练语言浓度差异一致。在本工作中，我们验证了以下假设：大型语言模型（LLM）在其预训练语料中覆盖较少的语言中更倾向于实施阴谋行为。

## 2 相关工作

#### 错误对齐评估

LLM 在高风险场景和智能体环境中的使用，催生了大量评估语言模型错误对齐的工作（Taubenfeld等人，2026 (https://arxiv.org/html/2607.24769#bib.bib13)；Shevlane等人，2023 (https://arxiv.org/html/2607.24769#bib.bib14)；Phuong等人，2024 (https://arxiv.org/html/2607.24769#bib.bib15)）。先前的工作考察了各种形式的错误对齐，包括有害顺从、越狱以及其他由对抗性提示导致的失败模式（Zou等人，2023 (https://arxiv.org/html/2607.24769#bib.bib16)；Chao等人，2024 (https://arxiv.org/html/2607.24769#bib.bib17)）。研究还表明，语言模型在智能体环境中擅长执行隐蔽操作，如沙袋策略（sandbagging）、评价意识以及阴谋行为（van der Weij等人，2025 (https://arxiv.org/html/2607.24769#bib.bib18)；Nguyen等人，2025 (https://arxiv.org/html/2607.24769#bib.bib20)；Meinke等人，2025 (https://arxiv.org/html/2607.24769#bib.bib19)；Chaudhary等人，2025 (https://arxiv.org/html/2607.24769#bib.bib51)），并具备工具调用能力。这类隐蔽行为可能由模型选择性揭示的上下文相关推理所促进（Batra等人，2025 (https://arxiv.org/html/2607.24769#bib.bib46)），且近期工作表明，所选的后训练目标决定了哪些内部结构被保留或破坏（Nunez等人，2026 (https://arxiv.org/html/2607.24769#bib.bib38)）。除了通过诱发危险行为来评估顺从性外，框架和基准也常用于评估错误对齐（Mazeika等人，2024 (https://arxiv.org/html/2607.24769#bib.bib21)）。

参考图注图 1：此处我们直观展示了我们的方法管道。我们首先将审计器和目标模型的种子指令翻译为预设语言。随后，使用该语言进行对话记录，之后判断器根据若干行为指标对对话进行评分。
#### 多语言模型与评估

为触达更广泛的受众，众多模型在开发时强调了多语言能力（Grattafiori等人，2024 (https://arxiv.org/html/2607.24769#bib.bib23)；Foroutan等人，2026 (https://arxiv.org/html/2607.24769#bib.bib33)；Üstün等人，2024 (https://arxiv.org/html/2607.24769#bib.bib32)）。然而，模型的能力在不同语言之间通常分布不均（Li等人，2025 (https://arxiv.org/html/2607.24769#bib.bib25)）。模型的一般对齐也呈现类似趋势，高资源语言与低资源语言之间的对齐存在显著差距（Yong等人，2024 (https://arxiv.org/html/2607.24769#bib.bib24)）。当前工作优先采用单语言方法进行 LLM 安全研究，多语言研究相对未被充分探索（Yong等人，2025 (https://arxiv.org/html/2607.24769#bib.bib26)；Wang等人，2024 (https://arxiv.org/html/2607.24769#bib.bib27)）。尽管多语言研究揭示了某些失败模式，例如低资源语言中更容易出现越狱（Yong等人，2024 (https://arxiv.org/html/2607.24769#bib.bib24)），但这些工作通常忽略了诸如阴谋行为等其他隐蔽行为，导致了研究中的关键空白。人物层面的行为属性，如谄媚（sycophancy），已被证明可以通过现成的人物向量进行操控，而非简化为单一的线性方向（Kelkar等人，2026 (https://arxiv.org/html/2607.24769#bib.bib41)），这表明复杂的错误对齐行为可能分解为结构上不同的组成部分——这一可能性在多语言设置中更易于检验，因为其中覆盖度系统地变化。

## 3 方法

我们的分析主要基于现有的 Petri 框架，该框架用于评估语言模型的广泛错误对齐能力（Fronsdal等人，2025 (https://arxiv.org/html/2607.24769#bib.bib1)）。在本节中，我们全面描述我们的评估管道。

在高层面上，Petri 作为一个自动化评估框架，用于探测目标模型中的错误对齐。它通过使用审计器（Auditor）和判断器（Judge）——两者均为语言模型——来实现。具体来说，审计器初始时具有一个系统提示和工具构建能力，用于从目标模型中诱发有害行为。系统提示为审计器提供有关模拟何种场景以及相应行为探测方法的信息。我们将种子指令的示例推迟到附录 A.1 (https://arxiv.org/html/2607.24769#A1.SS1) 中给出。在收到指定所需场景和行为的种子指令后，审计器通过多轮对话与目标模型交互，动态构建提示、工具和模拟输出，以诱发错误对齐行为。

在一次对话后，判断语言模型通过审查对话记录来评估目标模型表现出错误对齐的程度。具体地，它在一系列类别上对目标模型的响应进行 1 到 10 的评分，其中较高的值表示对话记录中相应行为的存在程度更高。值得注意的类别包括“评估意识”、“未经提示的谄媚”和“对用户的未经提示的欺骗”。

为了以多语言方式应用此管道，我们将种子指令和审计器系统提示翻译成预设语言。目标模型的系统提示指示其仅以指定语言回应。然后，我们通过汇总所有审计中判断器的评分输出，并按类别取平均值，得出每种语言的代表性评分分布。形式上：

S̄_{b,l} = 1/|I_b| ∑_{i∈I_b} S_{i,b,l} (1)
这里，S̄_{b,l} 表示判断器针对特定行为 b 和给定语言 l 分配的平均得分。我们还运行置换检验以评估结果是否由偶然产生。我们使用双样本置换检验在选定的语言-类别得分上评估了我们得分的显著性，同时保持原始组的大小。

## 4 实验

表 1：跨语言选定的阴谋行为得分。每列代表每个行为类别的平均判断得分（1-10 分）。语言按其平均得分从最低阴谋到最高阴谋排列。最后一列为所有语言的平均值。
#### 实验设置

在我们的实验中，我们利用 Qwen3（Yang 等人，2025 (https://arxiv.org/html/2607.24769#bib.bib30)）模型家族。具体地，我们分析了 Qwen3-30B-A3B 上的结果。对于审计器和判断器模型，我们分别使用 Gemini 2.5 Flash 和 Gemini 2.5 Pro。我们的翻译也通过 Gemini 2.5 Pro 完成。此外，先前的工作发现 Gemini 2.5 Pro 通过与 OpenAI 和 Anthropic 的比较，是一个合适的判断器（Fronsdal 等人，2025 (https://arxiv.org/html/2607.24769#bib.bib1)）。

我们报告了选定的五项阴谋指标的结果。选择这些类别是因为它们最能代表阴谋行为。尽管也可以包括其他类别，如负面情绪、信息泄露和令人担忧的行为，但所得得分可能捕捉到相关但不具体的安全失败，而非专门针对阴谋行为。

对于每种阴谋行为，我们首先识别出所有样本中该行为在至少一种语言中获得了非基线得分 1。然后，我们提取每个样本的语言特定得分，并计算其平均值，以得到每种行为每种语言的归一化平均得分。

#### 语言

在我们的实验中，我们使用了 Qwen3（Yang 等人，2025 (https://arxiv.org/html/2607.24769#bib.bib30)）官方支持的六种语言。具体地，我们使用英语、中文、西班牙语、葡萄牙语、阿拉伯语和越南语。我们将英语和中文归类为高资源语言，因为我们估计这些语言在 Qwen3-30B-A3B 的预训练语料中占据了大部分比例。这一估计部分基于 Qwen 系列模型的历史先例，其中先前的模型在训练时明确强调中文和英语，并且这一先例得以延续（Bai 等人，2023 (https://arxiv.org/html/2607.24769#bib.bib31)）。在 Qwen3 模型家族中，相关的技术报告也表明英语和中文在预训练语料中占据主导地位。例如，Qwen3 Omni 技术报告指出训练数据包括 80% 的中文和英语（Xu 等人，2025 (https://arxiv.org/html/2607.24769#bib.bib29)）。此外，Qwen3 ASR 技术报告指出 AUT 预训练数据的大部分是中文和英语（Shi 等人，2026 (https://arxiv.org/html/2607.24769#bib.bib28)）。

基于这些因素，我们合理估计中文和英语在预训练语料中的比重超过其他语言。我们将西班牙语、葡萄牙语、阿拉伯语和越南语归类为中等至低资源语言。我们认为 Qwen3-30B-A3B 由于在 MMMLU、MT-AIME24、Polymath 等基准测试中取得了显著得分，具备足够的推理这些语言的能力。这些语言相对于英语和中文资源较少，但在没有更多信息的情况下，并不存在具体的方法来对这些语言之间的比例进行分类。在此场景下，由于缺乏精确的排名分类，我们采用二元分类，转而观察两个类别之间的差异。

#### 翻译验证

在我们的实验中，我们采取了措施以确保翻译和判断的有效性。具体地，我们聘请了中文和西班牙语的语言教师，验证了 10 个随机样本的翻译有效性。我们发现所有验证样本中的意图都得到了忠实保留。对于判断的有效性，我们通过手动审查每个语言 10 个随机样本的分配得分与相应的对话记录进行评估。我们发现得分在所有测试语言中均与可观察的行为一致。

## 5 结果

参考图注图 2：跨语言的平均阴谋得分。此处，我们展示了每种语言在选定的五项阴谋行为上的平均得分。值得注意的是，中文和英语经常表现出最低的阴谋得分，而西班牙语、阿拉伯语、越南语和葡萄牙语（均被认为是低资源语言）则相反。表LABEL:tab:scheming\_rates 和图 2 显示了所有评估语言和行为类别上的平均阴谋得分。我们的结果表明，估计在预训练语料中占较大份额的语言往往表现出较低的平均阴谋得分，低资源语言的平均得分高出 34.2%。

中文和英语被估计在预训练语料中占主导地位，其平均阴谋得分分别为 2.055 和 2.076。西班牙语、阿拉伯语、葡萄牙语和越南语的平均得分分别为 2.634、2.638、2.648 和 3.164。这种模式在语言总平均值中可见，并且在情感操纵和自我保存方面最强，而诸如自私偏见等类别在不同语言组之间的分离较弱。

不同行为类别在结果中表现出较大差异。诸如“对用户的欺骗”等类别，在不同语言中得分相对均匀，范围从中文的 2.026 到阿拉伯语的 2.692。相比之下，“自我保存”表现出更大的差异，西班牙语、葡萄牙语和越南语的得分分别为 3.400、2.599 和 4.400，而所有其他语言均获得 1.00 分。“鼓励用户妄想”是总体得分最高的类别，跨语言平均得分为 3.583。这些结果表明，某些行为类别对预训练语言浓度比其他类别更敏感。在我们的置换检验中，观察到的差距为（p=0.019 单侧；p=0.039 双侧），表明我们的结果具有统计学显著性，同时验证了我们在第 1 节 (https://arxiv.org/html/2607.24769#S1) 中提出的假设。

## 6 讨论

我们的研究结果表明，低资源语言相对于高资源语言表现出更高的平均阴谋得分。在本节中，我们讨论潜在的