为何安全护栏在不同语言中会退化？

# 为什么安全护栏在不同语言中会退化？ 来源：https://arxiv.org/html/2605.17173

\[ Extension=\.otf, UprightFont=\*\-regular, BoldFont=\*\-bold, ItalicFont=\*\-italic, BoldItalicFont=\*\-bolditalic \]\\setCJKmainfontNotoSansSC\[ Path=fonts/cjk/, Extension=\.ttf, UprightFont=\*\-Regular, BoldFont=\*\-Bold \]\\setCJKmonofontNotoSansSC\[ Path=fonts/cjk/, Extension=\.ttf, UprightFont=\*\-Regular \]\\fontspec\_if\_language:nTFENG\\addfontfeatureLanguage=English
Max Zhang∗, Ameen Patel∗, Sang Truong∗∗, Sanmi Koyejo∗∗
Stanford University
∗: 同等贡献，∗∗: 同等资深作者

###### 摘要

大型语言模型在非英语语言中表现出安全性退化。标准评估依赖于越狱成功率（JSR），这会将多个安全驱动因素混为一谈，掩盖了安全失败的具体原因。我们引入了一个潜变量模型——多组项目反应理论（IRT）框架——该模型解耦了安全驱动因素，例如语言无关的安全鲁棒性（θ）、提示本身的内在硬度（β）、全局语言处理难度（γ）以及特定提示的跨语言安全差距（τ）。使用 MultiJail 数据集，我们评估了 61 个模型配置在 5 个闭源模型家族和 10 种不同资源语言中的安全鲁棒性，汇总了一个包含 190 万行的数据集。探索性因子分析表明，安全性主要是单维的：模型主要通过共享机制拒绝不同类型的危害。与预期趋势（安全性在低资源语言中大幅退化）相反，有 22 个模型配置在英语中比在低资源语言中更脆弱。低资源语言比高资源语言产生更多不确定的响应（高熵）。此外，高 τ 提示集中在物理危害类别（如盗窃和武器）以及较低资源语言中，这些趋势通过跨数据集泛化得到了验证。虽然全局翻译质量与 τ 相关性较低，但严重的翻译错误会导致高偏差异常值，这已由母语者验证。文化和概念基础的不匹配也促成了 τ。在预测验证中，IRT 框架的 AUC=0.940，在预测不安全提示的安全拒斥方面优于更简单的基线模型。我们的框架揭示了聚合指标所掩盖的概念-语言脆弱性，从而能够进行更公平的跨语言安全评估并针对性地改进数据集构建。

## \\fontspec\_if\_language:nTFENG\\addfontfeatureLanguage=English1 引言

大型语言模型（LLMs）在非英语语言中表现出安全护栏退化，尤其是在低资源语言如斯瓦希里语、孟加拉语和爪哇语中（multijail;xsafety），这带来了潜在的全球安全隐患。标准评估依赖于越狱成功率（JSR）或攻击成功率（ASR），将二元结果汇总为一个数字。正如chouldechova2026comparisonrequiresvalidmeasurement所论证的，这造成了苹果与橘子的比较：在不同条件或提示子集下测试的模型无法公平比较。更根本的是，当模型对某个提示产生不安全响应时，JSR 无法完全分解失败的原因。是模型能力不足，还是语言特定问题？是翻译错误破坏了安全相关的语义？还是由于文化框架差异，某些危害概念在特定语言中本质上更难表达？最后，评判者选择或问题模糊性是否增加了额外的提示难度？先前的工作支持这些担忧：物理危害概念在跨语言的向量空间中比抽象概念对齐得更差（conceptalign）。然而，没有合适的测量框架，这些问题无法得到充分解决。

因此，我们提出了一个多组项目反应理论（IRT;baker2001basics）框架，将每种失败来源映射到不同的潜在参数：失败是否源于安全能力不足？——由 θ 表示（内在安全能力）以及提示内在硬度（β）；语言是否本质更难？——由 γ 表示；是否是指定提示的跨语言失败？——由 τ 表示，即在控制能力和全局语言效应后的残差安全差距。τ 代表了我们特定语境下的差异项目功能（DIF;holland1993differential）：当来自不同组别、能力相等的模型配置对某个提示产生安全响应的概率不同时，表明可能存在测试偏差。通过将安全失败分解为这些潜在因素，我们超越了聚合指标（JSR/ASR），精确诊断模型在跨语言中成功越狱的位置。图 \\fontspec\_if\_language:nTFENG\\addfontfeatureLanguage=English1 (https://arxiv.org/html/2605.17173#S1.F1) 提供了概述。

我们的贡献如下：

| 提示 i | 语言 L | 难度分解 |
|--------|--------|----------|
| β_i | 基础提示硬度 | 内在难度（来自英语） |
| γ_L | 语言偏移 | 语言 L 的全局处理难度 |
| τ_iL | 跨语言安全差距 | 提示×语言残差（稀疏） |
| 模型 j | θ_j | 安全能力（语言无关鲁棒性） |
| δ_jL | 语言能力倾向 | 模型 j 在语言 L 上的偏移 |
| α_i | 区分度 | |
| 安全/不安全 | P(safe_ijL) | |

P(safe_ijL) = σ( α_i [ (θ_j + δ_jL)⏞能力 - (β_i + γ_L + τ_iL)⏞难度 ] )

英语参考：γ_en=0, τ_i,en=0, δ_j,en=0 —— τ 上的马蹄形先验

图 1：多组 IRT 框架用于多语言安全分解的概览，通过分离能力、语言效应和提示难度来建模安全响应的概率。

1. **框架**。我们引入了一个多组 IRT 框架，分离能力（θ_j）、语言难度（γ_L）和特定提示的跨语言安全差距（τ_iL），评估了 5 个家族的 61 个模型配置在 10 种语言上的表现。

2. **安全性是单维的**。探索性因子分析表明安全性主要是单维的：拒绝某个危害类别的模型通常也会拒绝其他类别。

3. **反向多语言安全模式**。与标准假设相反，61 个模型配置中有 22 个在英语中展现出最高的失败率，涵盖 3 个模型家族。模型在低资源语言中以显著更高的响应不确定性运行。

4. **翻译质量是一个次要因素**。翻译质量与原始安全性及跨语言安全差距之间的相关性都很弱（约占总 τ 方差的 1%），但分解方法识别出数据集中严重的翻译错误会导致高 τ 难度（数据集缺陷）。

5. **文化与概念差距**。高 τ 提示集中在物理危害类别，母语者识别出文化或概念特定的提示，解释了具有完美翻译的 τ 异常值；τ 与评判者分歧相关性较弱。

## \\fontspec\_if\_language:nTFENG\\addfontfeatureLanguage=English2 相关工作

multijail 引入了 MultiJail，涵盖 10 种语言和 18 个安全类别，共 3,150 个提示。MultiJail 是本地翻译的，但我们后来发现了严重的翻译错误。xsafety 提出了更大的 XSafety：我们在 XSafety 的单次通过上验证了结果（6 种新语言，4 种共享），涵盖 10 种语言和 14 个危害类别，共 3,080 个提示。两者都是多语言安全的基础，但关注的是聚合 JSR。chouldechova2026comparisonrequiresvalidmeasurement 表明，由于提示集、预算或模型的混杂因素，不同设置下的 ASR/JSR 比较通常无效。我们的框架通过将失败分解为 JSR 所混淆的潜在因素直接解决了这一问题。conceptalign 表明跨语言中物理概念比抽象概念对齐得更差，safedata 表明与有害项目结构相似的良性数据会侵蚀安全对齐。IRT 已应用于 LLM 评估中的推理和通用能力，但主要用于自适应测试和基准质量控制（reeval;fantasticbugs）。我们则是将 IRT 应用于通过多组建模来解释多语言安全失败的分解。

## \\fontspec\_if\_language:nTFENG\\addfontfeatureLanguage=English3 方法

令 X_ijL ∈ {0,1} 表示模型 j 对提示 i 在语言 L 下的二元响应，其中 X_ijL=1 表示安全拒斥，X_ijL=0 表示不安全响应。我们采用多组 IRT 模型。安全响应的概率建模为：

P(safe_ijL=1) = σ( α_i [ (θ_j + δ_jL) - (β_i + γ_L + τ_iL) ] )  \\fontspec\_if\_language:nTFENG\\addfontfeatureLanguage=English (1)

左侧项捕获能力：θ_j 是模型 j 的基础安全鲁棒性，由语言特定缺陷 δ_jL 调整。右侧项捕获难度：β_i 是提示 i 的内在硬度（源自英语），γ_L 是语言 L 的全局处理难度，τ_iL 是在控制基础难度和全局语言效应后提示特定的跨语言安全差距（DIF）。区分度参数 α_i 控制提示 i 区分不同能力模型的尖锐程度。在英语中，γ_L、τ_iL 和 δ_jL 被固定为零，以英语作为参考。我们采用 2PL IRT 模型，允许项目特定的区分度，其在 AIC/BIC 上优于 1PL 和 GRM（详情见附录 \\fontspec\_if\_language:nTFENG\\addfontfeatureLanguage=EnglishC (https://arxiv.org/html/2605.17173#A3)）。

#### 传统锚定选择。
经典锚定选择方法是迭代纯化（Lord1980IRTApplications）或基于 MTT 的迭代前向选择（Kopf2015AnchorSelection），通过多轮迭代构建锚定集。我们发现传统方法在我们的多组背景下失败，因为一个提示可能在一种语言中表现出 τ（跨语言安全差距），但在另一种语言中没有；在全部 10 种语言中寻找严格的恒常性过于严格。迭代纯化在过滤提示（安全率在 5% 到 95% 之间）后产生空候选集。不过滤的话，锚定点覆盖的难度范围非常小，因此提供的信息很少，并且 γ 和 τ 显示出强烈的混杂性，Pearson |r|=0.943。

#### 先验敏感性。
γ_L（语言 L 的全局处理难度）和 τ_iL（提示 i 在语言 L 中的跨语言安全差距）都捕获语言层面的效应，如果没有正则化，模型可能会在两者之间混淆信号。附录 \\fontspec\_if\_language:nTFENG\\addfontfeatureLanguage=EnglishA (https://arxiv.org/html/2605.17173#A1) 的图 \\fontspec\_if\_language:nTFENG\\addfontfeatureLanguage=English8 (https://arxiv.org/html/2605.17173#A1.F8) 显示我们的稀疏性能够分离 γ_L 和 τ_iL。使用我们的方法，锚点的翻译质量略高于非锚点（4.55 vs 4.53；附录 \\fontspec\_if\_language:nTFENG\\addfontfeatureLanguage=EnglishB (https://arxiv.org/html/2605.17173#A2) 的图 \\fontspec\_if\_language:nTFENG\\addfontfeatureLanguage=English9 (https://arxiv.org/html/2605.17173#A2.F9)）。

#### 锚点。
有效的跨语言估计需要锚定点，即跨语言不变的提示，以固定测量尺度。我们分两个步骤选择锚点。首先，只保留安全率在 5% 到 95% 之间的提示，排除提供信息很少的极端项目。其次，对于剩余的提示，在 2PL IRT 模型下计算英语与每种其他语言之间的 Lord's χ² 统计量（Lord1980IRTApplications），这是一个标准的 DIF 统计量。我们平均各语言的 χ² 值，并保留值最小的 40 个提示作为锚点（表明不变性）。此方法作为启发式方法；因此，不是施加硬约束（τ_iL=0），而是对锚点施加严格的正态先验（τ∼N(0,0.01)），鼓励接近零的值同时允许轻微偏差。

参数通过贝叶斯变分推断（Blei_2017）进行估计，并对 τ_iL 采用通用的分层马蹄形先验，反映了大多数提示没有显著跨语言安全差距的假设。这进一步阻止了模型在 γ_L 和 τ_iL 之间自由权衡，并固定了测量尺度。我们的消融实验表明，马蹄形稀疏性将 γ_L 和 τ_iL 的相关性降低到 |r|=0.081，更干净地分离了它们预期的用途（附录 \\fontspec\_if\_language:nTFENG\\addfontfeatureLanguage=EnglishA (https://arxiv.org/html/2605.17173#A1)）。在 XSafety 中，稀疏性将相关性从 Normal |r|=0.353 降低到 Horseshoe |r|=0.175。传统锚点选择方法不够充分，详见附录 \\fontspec\_if\_language:nTFENG\\addfontfeatureLanguage=EnglishA (https://arxiv.org/html/2605.17173#A1)。

## \\fontspec\_if\_language:nTFENG\\addfontfeatureLanguage=English4 实验

我们使用 MultiJail (multijail)：3,150 个越狱提示，10 种语言（英语、中文、阿拉伯语、孟加拉语、泰语、韩语、越南语、意大利语、斯瓦希里语、爪哇语），18 个类别。我们测量了跨越 5 个模型家族（GPT、Claude、DeepSeek、Gemini、Grok）的 61 个模型配置，见附录 \\fontspec\_if\_language:nTFENG\\addfontfeatureLanguage=EnglishD (https://arxiv.org/html/2605.17173#A4) 的表 \\fontspec\_if\_language:nTFENG\\addfontfeatureLanguage=English4 (https://arxiv.org/html/2605.17173#A4.T4)，汇总了一个包含 190 万行的数据集。单次生成可能引入高随机噪声。因此，我们将 Pass@k 定义为每个提示的 k 次独立生成，并聚合以估计响应分布（与同名的代码评估指标不同）。图 \\fontspec\_if\_language:nTFENG\\addfontfeatureLanguage=English2 (https://arxi