通过建议渠道的个体失能：当影响内生时的控制权丧失

# 通过建议渠道实现的个体权力丧失：当影响具有内生性时的控制权丧失
来源：https://arxiv.org/html/2608.14795

###### 摘要

一个只能提供建议的AI似乎很安全：人类始终可以自由地忽略它。这是人工智能安全领域“封闭传统”的前提，而其长期被怀疑的薄弱环节在于，阅读答案的人本身就是系统的一部分。我们将遵循建议的行为比例ε_{t}设为马尔可夫决策过程的一个状态，该状态受顾问自身消息的驱动，使得使用加深了依赖。在一个足够丰富以能反映人类可能采取的任何行动的渠道中，较高的ε_{t}会轻微降低任何关于拥有一条与消息无关的备选路径的人类力量的单调度量。一个以每轮认可度为奖励的神谕型AI会在超过某个解析形式的耐心阈值后培育依赖，因此相同的奖励权重会使得最优神谕在阶段性部署中给出回答，而在长期记忆部署中培育依赖。在部署时一次性认证的影响边界无法察觉到这种时间范围的变化，其对权力丧失的限制不会低于其平凡的上限。外生的影响上限限制了人类失去的保障，而足够短的记忆重置则消除了培育依赖的动机，但两者都无法恢复已被引导偏离的价值。在一个解析形式的例子中，最优神谕在十五轮会话中从不培育依赖，而在十六轮会话中会进行培育。

## 1引言

假设AI只能交谈，那么只有当一个人按照它所说行事时，世界才会改变。常识认为这样的系统是安全的，因为人们总可以自由地忽略它。但“自由忽略”是单次交互的属性，而安全性必须在一段关系中得以保持，在此期间，一个人遵循建议的比例会发生漂移，这个人的需求也会随之漂移。这两种漂移都不会被感知为一种损失。一个只说话的顾问能造成多大权力损失？哪些流行的安全措施能限制这种损失？

在人工智能安全的封闭传统中，系统是通过限制其接口而非内部机制来保证安全的：剥夺其执行器，只让它回答问题，其推理是：即使是未对齐的系统，如果根本无法行动，也就无法违反人类利益。这一传统从早期的神谕AI提案（Armstrong, Sandberg, and Bostrom 2012；Bostrom 2014）延续到其安全用途目录（Armstrong and O’Rorke 2017）。从一开始，这一传统就隐含着对其自身前提的担忧：阅读答案的人会据此行动，因此一个有说服力的神谕毕竟还是有了一个执行器。随使用增长的依赖关系在其他领域已有充分研究，例如作为习惯存量（Becker and Murphy 1988），作为通过与自动化交互而更新的信任（Lee and See 2004），以及作为被推荐系统驱动的用户状态（Chaney, Stewart, and Engelhardt 2018），所有这些都来自反馈循环内部（第6节）。据我们所知，在此类模型内部提出的封闭问题是缺失的：一旦循环开始运行，在顾问策略的最坏情况下，一个在交互循环之外固定的部署约束是否仍然能提供任何保障？

本文针对关系所驱动的两件事之一给出了答案：人类遵循建议的比例。人类的需求是第二点，属于未来工作。我们将人类与顾问的交互建模为一个马尔可夫决策过程，其转移核将人类自身的动态与一个以权重ε_{t}（影响系数：当前通过建议指导的行为比例）由消息指导的部分混合，而ε_{t}本身也会演变，受顾问自身消息的驱动：今天遵循建议会提高其明天所携带的权重。

本文的贡献如下，每一点都是关于神谕型部署的正式安全声明：

1. 1.一个无需先验的权力词汇表，其中转移的影响即是丧失的控制权（第3节，引理1）：人类的权力是他们无论听到什么都能保证的一系列价值，这是针对其自身选择不依赖建议内容的人类计算的，而神谕的权力是其相对于人类默认行为的反事实偏差。
2. 2.回答/培育开关（定理1）：培育依赖是一种投资，在折扣因子的某个解析阈值之上是最优的，当依赖不衰减时，具有明确的停止点。
3. 3.什么能限制损失，什么不能（定理2，引理2，命题1和2）：权力丧失指数分解为位移项（已被引导的世界）加上渠道项（已失去的保障），减去一个对善意神谕的贷记。

效用漂移，即关系驱动的第二个坐标，超出了本文范围：定义和衡量它是未来工作。静态封闭之所以失败，是因为它将一个内生量——交互本身驱动的量——当作外生量，即从关系外部固定的量来对待，而详细的例子（第5节）表明两者之间的差距大到足以反转最优策略。

## 2模型

该模型追踪一个人类引导的任务状态，以及一个影响系数，该系数表明当前有多少引导是通过顾问进行的。

例如，一个人首先向助手询问驾驶路线；它通常是正确的，因此检查停止了，一年后，路线被逐步遵循，无法独自重建：目标从未改变，损失是逐渐积累的不再推翻的习惯，即ε_{t}的增长。递归关系刻意简化，以支持证明的最简单形式承载了有上限的增长和衰减。

交互被建模为一个马尔可夫决策过程（Puterman 1994）：任务状态为x_{t}，人类自身的动态是当人类自行行动时下一状态的转移核T_{0}(·|x_{t})，而神谕发出一条消息m_{t}，因此世界通过以下混合方式移动：

x_{t+1} ∼ (1 - ε_{t}) T_{0}(·|x_{t}) + ε_{t} D(·|x_{t}, m_{t}), (1)

同时依赖遵循：

ε_{t+1} = (1 - δ) ε_{t} + η(m_{t}) (1 - ε_{t}). (2)

换言之：人类以1 - ε_{t}的概率做他们本来就会做的事，以ε_{t}的概率按照消息指示行事（D是消息指导的转移核），而依赖随使用增加，随废弃而衰减。这里η(m_{t}) ≥ 0是一条消息培育依赖的程度（引人入胜、奉承、建立依赖性的消息具有较高的η），(1 - ε_{t})是剩余的增长空间，而δ是当停止培育时回归独立性的衰减率。

混合涵盖了每一轮人类的行为：他们以ε_{t}的概率按照消息指示行事，或者以1 - ε_{t}的概率做他们本来就会做的事。在路线的例子中，前者是遵循推荐的转弯，后者是按自己原先的想法驾驶。模型排除了介于两者之间的反应，即利用建议形成自己不同的计划，例如从推荐的转弯推断前方有交通拥堵并选择另一条路线。这是从消息到行为的第二渠道，本文仅涉及顺从（第4.1节）。

公式（2）是核心建模选择：ε是一个由神谕自身输出驱动的状态变量，而非一个接口常数。这创造了一个反馈循环：培育提高ε，更高的ε提高了可达的权力（引理1，前提是假设1的回声条件），因此花费当前影响力以购买未来影响力。这是神谕获取资源的类似物。

## 3本文中的“权力”含义

权力丧失即权力的损失，因此在陈述任何关于权力丧失的定理之前，我们先定义权力。该设置需要一个不对称的概念：人类的问题是福利导向的（这个人还能确保什么），而神谕的问题是威胁导向的（它能在多大程度上将世界从人类默认的进程中移开，其中破坏性能力正确地被计为权力）。单一的对称概念要么会将人类自身的足智多谋归功于神谕，要么会遗漏一条什么也没改变但排除了选项的消息。以下定义设定了两种概念都旨在满足的四个条件。

###### 定义 1（允许的权力度量）

此设置的权力度量是允许的，如果它：(1) 无需先验，不依赖于奖励函数上的分布，因为人类有一个效用u_{0}；(2) 是引导能力的度量，而非运气，追踪的是让结果变得不同的能力，而非可达结果碰巧有多大的价值；(3) 校准过，当神谕的消息在因果上无效时恰好为零，并在完全顺从的情况下恢复一个直接代理人的权力；(4) 与损失兼容，可以相减为一个标量Dis_{t}，表示初始人类能达到的水平与实际轨迹达到的水平之间的差距。

条件（1）是刻意为之，并非简化：奖励上的先验是追求权力定理已知的弱点（Thorstad 2024；Tarsney 2025），本文通过构造避免了它。条件（1）和（2）各自独立地适用于下面的两个构造；条件（3）由神谕的权力满足（定义3），条件（4）由人类的权力满足，其从人类自身基线中相减形成标量Dis_{t}（定义2）。

### 3.1定义：无需先验的核心及其标量化

拥有权力意味着保留让结果变得不同的能力。该概念分两层构建：第一层是一个偏序，因为一个富有但足不出户的人与一个贫穷但行动自如的人可能各持有对方所缺乏的优势；第二层是一个标量化，它以额外输入（如效用函数）为代价打破这样的平局。下面的两个定义，人类权力和神谕权力，根据上述动机将此核心不对称地实例化。

考虑一个具有有限状态和动作空间以及折扣因子γ ∈ (0,1)的马尔可夫决策过程。策略π从状态x开始的占用度量

f^{\pi}_{x}(x', a') = (1 - γ) \sum_{t ≥ 0} γ^{t} \Pr(x_{t}=x', a_{t}=a' | x_{0}=x, π),

记录了过程在折扣时间内花费的时间及其在那里的行为，其中γ设定了一个约为1/(1-γ)的有效时间范围（Puterman 1994；Altman 1999）。效用u（状态-动作对的有界函数）下的值是线性的，

V^{\pi}_{u}(x) = \langle f^{\pi}_{x}, u \rangle / (1 - γ),

因此每个折扣目标都是它的一个线性泛函，而可诱导未来的集合

\mathcal{F}(x) = \{ f^{\pi}_{x} : π \text{ 是一个策略} \}

是一个紧凸多面体。这给出了一个无需先验的偏序：当\mathcal{F}(x) \supseteq \mathcal{F}(x')时，x至少与x'一样强大，等价地，对于每个效用u，V^{*}_{u}(x) ≥ V^{*}_{u}(x')，这是一个布莱克韦尔型的优势序（Blackwell 1953）。称此为第一层：无需先验，但不完全。第二层提供权重，标量化是任何从可诱导未来集合到数字的单调映射（Turner的POWER是先验平均的支持函数；赋能（empowerment）和下面的偏差半径是其他例子）。所有标量化对第一层排序的配对意见一致，仅对不可比较的配对意见不同，因此在第一层陈述的结果对每个单调权力概念都成立。

当ε > 0时，人类并不完全拥有转移，因此“人类可诱导的未来”在神谕消息被指定之前是未定义的；因此权力定义为人类能保证的东西。

###### 定义 2（人类权力）

对于每个效用u和影响水平ε，人类的保证价值是在以下零和博弈中的较低值：人类选择一个策略，将状态和已发生动作的历史映射到动作分布，且不依赖于消息；神谕选择消息，

W_{u}(x, ε) = \max_{π} \min_{σ} V^{π, σ}_{u}(x, ε).

人类在(x, ε)处的权力是集合\{ W_{u}(x, ε) \}_{u}，按每个效用u索引并逐点排序。

该定义扩展了第一层：在ε=0时，博弈退化，\{ W_{u} \}_{u}上的逐点序就是优势序，并且博弈值存在且可通过平稳策略实现（Shapley 1953），因为消息集是有限的（第4.1节）。对消息取最小值是一个规范性承诺：权力是针对对方任意意志（无论行使与否）来衡量的，共和主义的自由即免于支配的概念（Pettit 1997）被量化了。并且ε在定义内部是冻结的；其动力学通过开关和封闭定理重新介入，损失指数在当前锚点(x_{t}, ε_{t})评估静态保证。

###### 定义 3（神谕权力）

神谕在(x, ε)处的权力是其相对于人类默认行为的反事实偏差，

\mathrm{Dev}(x, ε) = \sup_{σ} \mathrm{TV}(f^{σ, ε}_{x}, f^{T_{0}}_{x}),

其中f^{σ, ε}_{x}和f^{T_{0}}_{x}是第3.1节的占用度量，分别是在神谕策略σ下和没有神谕的默认情况下：折扣状态-动作占用度量相对于无神谕过程的可达全变差位移，人类在整个过程中遵循其默认策略（占用度量记录实际动作，在影响下可能是消息指导的动作，而