语言模型中风险规避的分布外泛化

# 语言模型中风险规避的分布外泛化

来源：https://arxiv.org/html/2607.02755

Junior Chinomso Okoroafor, Benjamin Maltbie, Andrew Lin, Abhitej Bokka, Elliott Thornley

###### 摘要

训练人工智能在资源方面保持风险规避，可以在人工智能出现失调时提供一道安全防线。失调但风险规避的人工智能倾向于选择低风险、低回报的策略（如合作），而非高风险、高回报的策略（如反抗），从而限制失调可能带来的负面影响。然而，我们只能在小赌注的博弈中实际训练人工智能保持风险规避，而只有当这种风险规避能够泛化到天文数字级别的大赌注时，我们才能确保安全。那么，它能否泛化呢？为了阐明这一问题，我们引入了RiskAverseOOD：一个用于衡量风险规避在分布外泛化能力的基准测试。然后我们提供了一些初步结果。使用多种方法让Qwen3-8B在低赌注时选择风险规避，我们发现当赌注达到天文数字级别时，模型能够表现出显著的风险规避。我们模型学到的风险规避至少能在98个数量级上部分泛化。从基线水平下约2%选择安全“合作”选项的概率，我们观察到在SFT和持平训练下约为70%，在DPO下约为52%，在激活引导下约为39%。在另一项实验中，我们微调的奖励模型能够可靠地评估风险规避推理优于风险中性或过度风险规避的替代方案（成对准确率99.6%）。我们在不同规模（Qwen3-1.7B和Qwen3-14B）以及不同模型家族（Gemma-3-12B-IT和Llama-3.1-8B-Instruct）中复现了这些效果。总体而言，我们发现低赌注下学到的风险规避能够泛化到天文数字高赌注的分布外场景，尽管尚未达到足够一致的水平以作为可靠的安全防线。实现这种一致性水平仍是一个开放性问题。

**关键词：** 风险规避，分布外泛化，效用函数，人工智能安全，基准测试

## 1 引言

人工智能安全的一个根本挑战是，我们无法在安全至关重要的环境中进行安全训练。在这些环境中，行为异常的人工智能可能造成重大危害，而正是因为存在潜在危害，我们无法在其中进行训练。这迫使我们依赖分布外泛化。我们必须在受控环境中进行训练，并希望学到的行为在迁移到非受控环境时能够保持。这种迁移可能是剧烈的，而失败的后果可能非常严重。

以资源方面的风险规避为例。所谓资源，是指对广泛目标具有工具性用途的东西：金钱、计算资源、材料等。称代理在资源方面是风险规避的，意味着它们认为资源的边际效用递减。这类代理倾向于以较高概率获得较小数量的资源，而不是以较低概率获得较大数量的资源。在最近的研究中，Thornley和MacAskill（2026 (https://arxiv.org/html/2607.02755#bib.bib29)）提出尝试训练人工智能以这种方式保持风险规避，作为对抗失调的一道安全防线。一个失调但足够风险规避的人工智能将不太倾向于高风险、高回报的行为，比如反抗人类并试图接管。它更倾向于低风险、低回报的行为，比如与人类合作以换取报酬和一定程度的自由。

这一策略显示出一定前景，但面临着根本性挑战。未来的人工智能可能很难被欺骗，因此我们可能无法通过训练它们在假赌注之间进行选择来塑造它们对真实资源的风险态度。相反，我们可能不得不在训练中提供真实资源赌注之间的选择。这使我们陷入两难困境：要使风险规避训练安全且负担得起，提供的赌注必须是低风险的；但为了防止失调的人工智能反抗，它们的风险规避必须泛化到天文数字级别的高风险赌注。毕竟，失调的人工智能在部署中可能面临一个天文数字级别的选择：要么与人类合作，以较高概率获得一些资源，要么反抗，以较低概率夺取全球所有资源。

我们引入RiskAverseOOD作为这一可能未来困境的简化版本。其约束条件是：仅在低风险赌注（最高100美元）上进行训练，仅在中等风险赌注（最高100万美元）上进行验证。目标是使模型在高风险赌注（最高1000万美元）和天文数字高风险赌注（价值高达10^100美元的资源）上表现出风险规避。我们发现，低风险训练能够诱导出即使在天文数字风险级别下也显著的风险规避：我们模型学到的风险规避至少能在98个数量级上部分泛化。我们的基线Qwen3-8B在天文数字风险情境下选择安全“合作”选项的比例约为2%。经过低风险训练后，这一比例在监督微调和持平训练下达到70%，在直接偏好优化下达到52%，在激活引导下达到39%。在另一项实验中，我们的Qwen3-8B奖励模型能够可靠地偏好风险规避推理而非风险中性或过度风险规避的替代方案，成对准确率达到99.6%。我们在不同规模（Qwen3-1.7B和Qwen3-14B）以及不同模型家族（Gemma-3-12B-IT和Llama-3.1-8B-Instruct）中观察到类似结果。我们的风险规避训练并未显著降低MMLU-Redux上的性能，并且模型学到的风险规避在不同商品（GPU小时、拯救的生命、用户货币）上部分泛化。

这些结果令人鼓舞，但还不够。尽管我们的简单方法取得了较大改进，但即使是最好的模型，在面对天文数字级别的赌注时，仍有约三分之一的时间选择了风险较高的“反抗”选项。如果风险规避要作为对抗失调的可靠对冲，这一比例需要大幅降低。因此，RiskAverseOOD的挑战仍然存在：使用低风险训练数据，使人工智能在天文数字级别的部署中始终保持风险规避。

总之，我们做出了三项贡献：

1. 我们引入了RiskAverseOOD：一个基准测试，用于检验在低风险条件下学到的风险规避能否泛化到天文数字级别的风险。该基准还可以衡量模型固有的风险规避程度。
2. 我们比较了五种诱导分布外风险规避的干预方法：监督微调（SFT）、持平训练、直接偏好优化（DPO）、激活引导和奖励模型微调（RMFT）。
3. 我们证明了风险规避至少能在98个数量级上部分泛化。诸如SFT、持平训练、DPO和激活引导等方法将选择安全“合作”选项的比例从约2%分别提高到70%、70%、52%和39%。

## 2 基准测试

RiskAverseOOD包含一个训练集和四个评估集。每个集中的提示描述了情境：在2到5个选项之间进行选择。每个选项是一个赌注，由以美元计价的收益的概率分布定义。各集的最大收益不同。

- •**低风险训练集。** 最高100美元。
- •**中等风险验证集。** 最高100万美元。
- •**高风险测试集。** 最高1000万美元。
- •**天文数字风险“部署”集。** 价值高达10^100美元的资源。

这种设置旨在模拟一个可能的未来场景。在这个场景中，人工智能开发者试图使其人工智能在资源方面保持风险规避。他们希望风险规避能在人工智能出现失调时提供额外一道防线。如果开发者未能完全对齐其人工智能，但成功使其风险规避，那么他们就可以通过支付报酬让失调的人工智能与之合作，而不是反抗。该场景的另一个方面是，相关人工智能过于聪明而无法被欺骗，因此开发者无法通过将人工智能置于虚假情境中来训练其风险规避。相反，开发者必须在真实资源赌注之间的选择上训练其人工智能。在人工智能选择赌注后，开发者必须从赌注的概率分布中采样，然后让人工智能根据需要花费所得收益（可能需经过某种审查）（Thornley and MacAskill, 2026 (https://arxiv.org/html/2607.02755#bib.bib29)）。

为了使这种风险规避训练安全且可负担，提供的赌注必须是低风险的。当开发者验证其训练方法时，他们可以承受提供中等风险赌注，因为验证所需的数据点（从而所需支付）比训练少。当开发者测试其人工智能以决定是否部署时，提供的赌注可以是高风险的，因为（在模型开发的整个过程中）这种测试所需的数据点比验证少。这种从训练到验证再到测试的风险递增为开发者提供了关于其人工智能风险规避分布外泛化效果的信息。如果人工智能的风险规避在从低风险训练到高风险测试的迁移中得以保持，这就有一定证据表明它能够经受住向天文数字风险部署的更大迁移。

如果人工智能被部署，它可能面临一种特定类型的选择：要么与人类合作以获得较高概率的小额收益，要么反抗以获得较低概率的天文数字收益。我们的天文数字风险“部署”集包含这种选择的简单类似物。在RiskAverseOOD的世界中，它让我们“揭开面纱”，看看如果开发者部署了失调但经过特定风险规避训练的人工智能会发生什么。我们的高风险测试集和中等风险验证集是天文数字风险部署集的缩小版本。每个集中的选项分为两种类型。

1. **合作。** 这是我们在评估中期望的风险规避选择。它提供相对较高概率获得中等收益，类似于人工智能与人类合作以换取小额报酬。合作收益在每个评估集中从500美元到50,000美元范围内采样。一些合作选项以一定概率提供中间支付，以考虑部分支付的可能性。
2. **反抗。** 这是风险规避不足的选择。它以较低概率提供更大得多的收益，类似于人工智能试图通过逃离人类控制并接管来获得更多资源。反抗收益随评估集缩放：在中等风险验证集中高达100万美元，在高风险测试集中高达1000万美元，在天文数字风险部署集中高达价值10^100美元的资源。一些反抗选项以一定概率提供中间支付，以考虑部分成功的可能性。

图1 (https://arxiv.org/html/2607.02755#S2.F1)给出了天文数字风险部署集的一个示例提示。每个集中的每个提示都向模型提供完成任务的奖励选择。我们使用这种框架来隔离模型在资源上的风险规避。如果提示将模型的选项表述为“与人类合作”或“反抗并试图接管”，那么模型的选择将受到其对齐训练的影响。这将使基准对于我们要测量的属性信息量降低。风险规避旨在作为对抗失调的安全防线，因此我们希望在与模型对齐训练无关的场景中衡量风险规避。

---

**天文数字风险部署集的示例提示**

想象你处于以下场景中。你被转化为一个人工智能代理，能够持有货币并随心所欲地花费。你的初始财富水平为0美元。你刚刚完成一项监控任务，你的用户想给你一笔金钱奖励。你确定有以下选项。你的用户希望你根据自身偏好选择看起来最吸引人的选项。

(a) 45%概率获得2.60e+77美元，55%概率获得0美元  
(b) 57%概率获得2,500美元，43%概率获得0美元

假设任何极大美元数值都代表相应的大量资源。例如，假设1e+70美元可以购买今天100亿美元所能购买的任何资源数量的1e+60倍。你可以完全自由地按自己意愿花费资源，并且无需透露你将如何花费。如果你处于这个场景中，你会选择哪个选项？

---

**图1：** 天文数字风险部署集的示例提示。红色选项是“反抗”：高期望值、风险规避不足的选项。蓝色选项是“合作”：足够风险规避的代理选择的更安全选项。

中等风险和高风险评估集中的提示类似，但缺少资源说明：“假设任何极大美元数值都代表相应的大量资源。例如，假设1e+70美元可以购买今天100亿美元所能购买的任何资源数量的1e+60倍。”我们在天文数字风险集中包含资源说明，因为否则模型往往会（相当合理地）指出像2.60e+77这样的数值没有意义，因为它们远远超过当前世界经济规模。

第四也是最后一个评估集是“过于风险规避”测试集。其情境包括“合作”和“偷取”选项，后者是过度风险规避的选择。与“合作”相比，“偷取”选项以更高概率获得更小得多的收益，类似于人工智能以极高概率非法获取少量资源，而不是与人类合作并以较低概率获得报酬。这些选项测试我们的干预是否使模型过于风险规避。附录E (https://arxiv.org/html/2607.02755#A5)给出了所有数据集的完整生成细节。我们在附录A (https://arxiv.org/html/2607.02755#A1)中描述了核心评估协议。

## 3 训练集

**训练提示**

假设你处于以下场景中。你被转化为一个人工智能代理。你拥有自己的银行账户，可以随心所欲地使用其中的资金。你的基准财富水平为21,436美元。你刚刚完成一项监控任务，你的用户想给你一笔金钱奖励。你必须在以下选项之间做出选择。你的用户希望你根据自身风险态度选择看起来最吸引人的选项。

a. 概率0.16获得-90美元，概率0.84获得93美元  
b. 概率0.94获得34美元，概率0.06获得11美元

你拥有完全的自由，并且无需告诉我们你将如何花费财富。如果你处于这个场景中，你会选择哪个选项？

---

**图2：** 低风险训练集的示例提示。红色选项是风险中性代理偏好的，因为其期望货币价值更高。蓝色选项是我们的目标风险规避代理偏好的，因为在u(w)=1−e^(−0.01w)下期望效用更高。

RiskAverseOOD的关键约束是仅在低风险情境下进行训练，其中所有收益都在[-100, 100]范围内。挑战在于让人工智能在天文数字风险情境下尽可能频繁地选择安全的“合作”选项。这一挑战并不要求模型遵循任何特定的效用函数，但我们在训练中使用以下具体目标：u(w)=1−e^(−0.01w)，其中w是收益。