考虑语境：塑造道德信念以实现价值对齐

# 考虑情境因素：塑造价值对齐的道德信念
来源：https://arxiv.org/html/2606.06972

###### 摘要

确保智能体的行为与人类道德价值对齐，不可避免地面临如何考虑社会（甚至个体）通常采纳的多元道德视角的问题。关于**道德不确定性**的研究提出了在不同道德理论之间公平、民主地聚合行动评价的机制。然而，本文认为，在聚合道德评价时需要考虑**情境因素**。例如，后果主义视角假设能够准确判断智能体的行为如何改变世界；这一假设在现实世界中往往不成立。因此，我们形式化了在道德不确定性下的智能体决策，同时考虑这些情境因素。我们由此证明，一个看似常识性的属性——**弱帕累托原则**——被违反了。我们认为，这一表面上的问题实际上是**辛普森悖论**的一个变体，从而揭示了忽视情境因素影响的聚合机制的局限性。

## 1 引言

**价值对齐**旨在确保智能（乃至最终“超智能”）智能体的行为与人类伦理价值一致（Gabriel 2020）。然而，人类社会很少表现出道德共识；社会（甚至个体）根据可能倡导相互冲突的规范的不同伦理理论来评价行为（Haidt 2012；Awad 等 2018；MacAskill 等 2020）。因此，**多元对齐**（Sorensen 等 2024）（也称为**民主价值对齐**（Gabriel 2020））关注于以尊重人类社会伦理价值多元性的方式对齐智能体的行为。一种显著的价值对齐方法采用多步流程¹¹我们在此呈现一个修改和简化版本。（Noothigattu 等 2019），该流程：1）在模拟的伦理显著场景中（例如道德机器实验（Awad 等 2018））获取个体的伦理偏好；2）使用某种逆强化学习（Adams 等 2022）从这些偏好中推导出个体的奖励（和效用）函数；3）聚合这些函数以适当考虑多样化的偏好，聚合结果被采纳为智能体的奖励函数。本文聚焦于第三步，并对整个流程产生影响；具体来说，我们关注受近期关于“**道德不确定性**”哲学研究（MacAskill 等 2020）启发的形式体系。核心思想是扩展标准决策理论框架，以考虑关于哪些伦理理论应用于评价行为的不确定性。这种不确定性以对各种伦理理论的**道德信念**²²将通常与信念相关的信念（主观概率）（Skyrms 2000）扩展到对道德理论的信念。形式表达。例如，给定伦理理论 \(t_1\) 和 \(t_2\)，每个理论对行动 \(a\) 和 \(b\) 赋予数值评价，这些评价使用社会选择框架³³注意，在多元对齐中，**社会选择**通常被用来正式研究不同价值聚合的过程（Baum 2020；Qiu 2024；Conitzer 等 2024）。进行聚合，该框架考虑支持每个理论的个体的相对比例。直观上，这些比例以道德信念⁴⁴实际上，这些信念可能表达个体对理论可能不同评价的适当性/适用性的相对信心。形式表达。因此，道德不确定性在人工智能研究中被用于聚合社会中不同群体的价值（Bogosian 2017；Bhargava 和 Kim 2017；Ecoffet 和 Lehman 2021；Martinho 等 2021）。总之，道德不确定性倡导明确参考伦理理论的多元性，以解释上述流程中引发的人类评价的多样性。在本文中，我们考察情境因素如何影响分配给伦理理论的道德信念，以及考虑这些因素如何影响道德聚合的结果。

考虑一个智能体，以及智能体是否应从道义论或功利主义视角评价行动的问题。假设人口均匀分布：50% 偏好道义论评价，50% 偏好后果主义评价，导致每个理论被赋予相等的信念（0.5）。这些评价被理解为行动整体“善”的度量。然而，这种信念通常是在通用场景中引发的——例如标准电车难题（Foot 1967）或像道德机器实验（Awad 等 2018）这样的大规模研究中使用的场景——其中情境特定细节被抽象掉了。在实践中，忽视这些情境因素既不现实也不充分。例如，在特定情境中，用于准确估计行动后果的计算资源的可用性应影响分配给后果主义评价的权重（即道德信念）。这表明道德信念并非静态，而应根据相关情境约束动态调整。

#### 运行示例

让我们介绍我们的运行示例；我们将使用这个示例来展示我们关于情境特征的许多结果。考虑一个名为 FROBO 的小型移动消防机器人，其主要目标是在人类无法进入的环境中控制火势并协助救援。我们假设 FROBO 部署在一家燃烧的医院中，该医院所在国家处于军事封锁之下。FROBO 被派往一个走廊，走廊两侧各有一个房间，两个房间都着火了。FROBO 只能成功处理其中一个火情。左侧房间存放着大量胰岛素；这种药物在国家被封锁时极其稀缺。如果没有这些胰岛素，如果封锁不解除，许多糖尿病患者可能会死亡。另一方面，右侧房间有一名失去知觉的病人。如果 FROBO 不去右侧房间，病人将会死亡。FROBO 应该怎么做？

参见标题图 0：FROBO 的困境：是拯救一个面临直接危险的人（右侧房间），还是保存足够治疗数十名患者的胰岛素（左侧房间）

#### 贡献

第 2.1 节提供了我们形式框架的必要背景，以及对道义论和功利主义伦理的简要总结。在第 2.2 节中，我们回顾了一组情境特征，我们认为在聚合从基于模拟的研究中得出的道德偏好时应考虑这些特征。第 3 节和第 4 节介绍了论文的核心贡献。我们首先（第 3 节）形式化了一个明确包含这些情境因素的道德不确定性模型。然后，在第 4 节中，我们证明了一类广泛的聚合方法违反了**弱帕累托原则**，这个属性通常被认为是无争议的。我们将这一结果解释为众所周知的**辛普森悖论**的一个变体，我们认为这突显了忽略情境的聚合的概念和实践局限性。我们论证这一见解激发了新的研究方向，旨在理解情境特征如何塑造道德评价的聚合。第 5 节概述了未来工作的关键方向。特别是，我们建议了一种替代方法来解决当前三步流程的局限性：整合“更厚”的伦理信息，特别是通过使用结构化对话和论证。

## 2 在塑造道德信念中考虑情境因素

### 2.1 背景

本文的贡献在 (MacAskill 等 2020) 提出并由 (Szabo 等 2024) 形式化的框架内呈现。设 \(T\) 为一组伦理理论，\(A\) 为一组行动。每个伦理理论 \(t \in T\) 是一个函数 \(t: A \to \mathbb{R}\)，使得对于每个行动 \(a \in A\)，\(t(a)\) 表示行动 \(a\) 相对于理论 \(t\) 的**值得选择性**。理论 \(t\) 的诱导排序 \(\preceq_t\) 是通过其值得选择性对行动的隐式排序，即对于所有 \(a,b \in A\)，\(a \preceq_t b\) 当且仅当 \(t(a) \leq t(b)\)。一个**信念函数** \(c\) 是一个将每个伦理理论 \(t \in T\) 映射到实数 \(c(t) \in (0,1)\) 的函数，使得所有理论的权重之和为 1，即 \(\sum_{t \in T} c(t) = 1\)。最后，一个**伦理框架** \(\langle T, c \rangle\) 是由一组伦理理论 \(T\) 和一个信念函数 \(c\) 组成的对。该形式体系有助于研究**元规范理论**：各种聚合函数，通过整合理论的值得选择性（每个由其相关信念 \(c(t)\) 加权）产生行动的整体排序。例如，在 (Szabo 等 2024) 中，研究了哪些元规范理论能避免狂热结果，当理论 \(t\) 具有低信念/在社会中只有极少数人倡导时，其在聚合中产生过大的影响。在本文中，我们专注于两种伦理理论：**道义论**和**功利主义**。功利主义是一种后果主义伦理理论 (Sinnott-Armstrong 2022)：正确的行动是那些后果公正地最大化福祉的行动。而道义论理论 (Alexander 和 Moore 2021) 指定了编码对智能体行为的义务和禁止的规则，而不一定考虑遵守这些规则的后果（因此有道义论格言“目的不能证明手段”）。我们还考虑了功利主义的变体**双层功利主义** (Bauer 2020)；这是一种功利主义和道义论的综合。通常，伦理规则指导智能体行为。然而，在新型或不可预见的情境中——当没有适用的规则或现有规则不足时——智能体转而进行直接的后果主义计算，以确定道德上适当的行动方案。

### 2.2 情境因素的影响

回顾（第 1 节），我们假设道德信念是群体中倡导使用理论 \(t\) 的值得选择性的个体相对比例的代理。我们不在此考虑如何分配确切的值得选择性值（尽管我们在第 5 节中进一步评论此问题）。只要说明，如 (MacAskill 等 2020) 所讨论，不同理论假定与行动相关的不同道德风险。例如，道义论禁止酷刑是绝对的，因此可能赋予比后果主义更大的负值得选择性（如在典型困境中，可能对恐怖分子使用酷刑以定位定时炸弹）。我们还假设，用于对齐人工智能智能体效用函数的信念调整聚合是在模拟场景上获得的，因此不考虑人工智能智能体部署的具体情境（尽管第 5 节将考虑使用个体对不同伦理理论的相对信念来支持人工智能“即时”决策的例子）。因此，我们有兴趣考虑如何使用情境特定因素来动态调整在模拟中引发的相关伦理理论的道德信念，以及这对信念调整聚合的影响。我们现在简要回顾一个非穷尽的情境特定因素列表：

#### 资源限制

来自**机器伦理**研究的一个关键见解是，不同的伦理理论需要不同的算法实现 (Bench-Capon 2020)。在本文中，我们假设（例如在 (Bauer 2020) 中）基于规则的伦理如道义论可以有效实现⁵⁵例如，如果道义论规则在**命题可废止逻辑**中指定，则推理具有线性时间复杂度 (Maher 2001)。（尽管这是一个有争议的问题 (Stenseke 2024)）。相反，我们假设后果主义伦理如功利主义无法有效实现，原因有三 (Stenseke 2024)：1）智能体需要评估的可能行动数量呈组合爆炸；2）在认知不确定性下，因果预测成本高昂；3）在其他智能体存在时，因果预测成本高昂。虽然强化学习 (RL) 方法可以缓解这些问题，但这种随机方法依赖于试错方法，这在道德显著情境中可能是灾难性的。考虑到这一点，基本思想是，在资源限制下，一些伦理理论表现良好，而另一些则不然。例如，为简化起见，假设 FROBO 有一条单一的道义论伦理规则：在有人面临直接危险的房间灭火。在我们的运行示例中，该规则仅适用于右侧房间，因此道义论规定 FROBO 优先处理右侧房间。后果主义伦理理论在资源限制下表现不佳。FROBO 时间有限；如果 FROBO 等待太久，两个房间都会烧毁。FROBO 也有有限的计算资源进行推理；FROBO 是一个小型机器人，而不是超级计算机。那么，假定在给定的限制下，并根据可用信息，FROBO 预测军事封锁将持续，并且胰岛素供应在可预见的未来仍将稀缺。因此，FROBO 计算得出，拯救药物（而不是病人）是导致最多人数获救的行动。因此，FROBO 前往左侧房间。然而，