用于可塑性的贝尔曼最优方程

# 塑性的贝尔曼最优性方程
来源：https://arxiv.org/html/2609.10776
###### 摘要

在持续强化学习中，审慎管理稳定性与塑性之间的权衡仍然是一个核心挑战。近期，Abel等人（2025）（https://arxiv.org/html/2609.10776#bib.bib1）通过将塑性定义为从智能体的观测到其动作的广义有向信息，将赋能定义为从其动作到其观测的广义有向信息，对此困境进行了形式化。这一表述成功地将传统的稳定性-塑性权衡重新定义为赋能-塑性权衡。然而，尽管关于优化赋能的文献已经相当广泛，目前尚无研究针对这一新定义下的塑性进行优化。本文展示了在马尔可夫决策过程中优化塑性的初步工作。我们证明存在一个类似于先前赋能工作的、用于优化塑性的贝尔曼最优性方程。

## 1 引言

在概念上，赋能被解释为智能体控制其未来的能力，而塑性则代表了其保持可塑、可被环境影响的容量。最近，Abel等人（2025）（https://arxiv.org/html/2609.10776#bib.bib1）将这两个领域联系起来，将塑性形式化为赋能的镜像。赋能通过最大化从智能体动作流向其后续观测的信息来描述可控性，而Abel等人（2025）（https://arxiv.org/html/2609.10776#bib.bib1）则将塑性定义为相反方向流动的信息。他们推测，设计稳健的持续学习智能体需要同时将赋能和塑性维持在关键阈值之上，而这一论断正是本工作的动机。

为构建应对这一主张的算法，必须同时主动优化和控制赋能与塑性。文献中呈现了大量最大化赋能的方法，从Klyubin等人（2005）（https://arxiv.org/html/2609.10776#bib.bib2）的引入，到Leibfried等人（2019）（https://arxiv.org/html/2609.10776#bib.bib3）的贝尔曼公式化，再到Mohamed和Rezende（2015）（https://arxiv.org/html/2609.10776#bib.bib4）的深度变分方法。然而，塑性优化仍未被探索。塑性主要通过深度架构中塑性丧失的视角进行研究（Lyle等人，2023（https://arxiv.org/html/2609.10776#bib.bib5）；Dohare等人，2024（https://arxiv.org/html/2609.10776#bib.bib7）），并且通常使用架构或训练方法来解决（Dohare等人，2021（https://arxiv.org/html/2609.10776#bib.bib8））。因此，目前尚无工作对新信息论定义下的直接优化进行形式化。本文通过推导塑性的贝尔曼最优性方程来弥合这一差距。

本文的其余部分结构如下：第2节建立了必要的数学预备知识；第3节详细推导了我们的贝尔曼最优性方程；第4节介绍了我们的基准环境；第5节展示了在基准环境和两个扩展环境中的实证评估。

## 2 背景

### 2\.1 通过有向信息定义的赋能与塑性

Klyubin等人（2005）（https://arxiv.org/html/2609.10776#bib.bib2）给出的赋能形式定义是智能体动作通道与这些动作所导致的下一状态之间的信道容量。

Et(St)=maxp(Atⁿ)I(Atⁿ;St+n∣St)\\mathcal{E}_{t}(S_{t})=\max_{p(A_{t}^{n})}I(A_{t}^{n};S_{t+n}\mid S_{t}) (1)
这要求智能体具有一个开环系统，能够在每个状态下产生并执行n个动作。Capdepuy（2011）（https://arxiv.org/html/2609.10776#bib.bib6）通过引入反馈回路扩展了这一框架。他们将赋能重新定义为从智能体动作到其后续观测的有向信息。

I(Atⁿ→Ot+1ⁿ)=∑n=0N−1I(Atn+1;Ot+1+n∣Ot+1ⁿ)I(A_{t}^{N}\rightarrow O_{t+1}^{N})=\sum_{n=0}^{N-1}I(A_{t}^{n+1};O_{t+1+n}\mid O_{t+1}^{n}) (2)
最近，Abel等人（2025）（https://arxiv.org/html/2609.10776#bib.bib1）在Capdepuy（2011）（https://arxiv.org/html/2609.10776#bib.bib6）的定义和思想基础上，通过广义有向信息定义了赋能。他们将智能体架构Λ在环境e中，相对于动作窗口[a:b]和观测窗口[c:d]的赋能定义为：

Ec:da:b(Λ,e)≜maxλ∈ΛI(Aa:b→Oc:d)\\mathfrak{E}_{c:d}^{a:b}(\Lambda,e)\triangleq\max_{\lambda\in\Lambda}I(A_{a:b}\rightarrow O_{c:d}) (3)
与赋能类似，Abel等人（2025）（https://arxiv.org/html/2609.10776#bib.bib1）将智能体λ在环境集合E中，相对于观测窗口[a:b]和动作窗口[c:d]的塑性定义为：

Bc:da:b(λ,E)≜maxe∈EI(Oa:b→Ac:d)\\mathfrak{B}_{c:d}^{a:b}(\lambda,\mathcal{E})\triangleq\max_{e\in\mathcal{E}}I(O_{a:b}\rightarrow A_{c:d}) (4)
在本文中，我们关注的是单个智能体λ与特定环境e交互时的定义。

### 2\.2 基于价值的信息最大化

虽然有向信息为分析这些概念提供了一个完整的形式框架，但在马尔可夫决策过程中直接优化它非常困难。Leibfried等人（2019）（https://arxiv.org/html/2609.10776#bib.bib3）；Tiomkin和Tishby（2018）（https://arxiv.org/html/2609.10776#bib.bib9）提出的价值函数方法建立了广义的贝尔曼方程，使赋能优化变得可行。Leibfried等人（2019）（https://arxiv.org/html/2609.10776#bib.bib3）引入了一个统一的最大化奖励和赋能的框架。他们引入两个参数来控制对奖励与赋能的关注度。他们定义了一个赋能贝尔曼最优性方程如下：

V∗(s)=maxπbehave,qEa∼πbehave(⋅∣s)[αR(s,a)+Es′∼P(⋅∣s,a)[βlog(q(a∣s′,s)πbehave(a∣s))+γV∗(s′)]]V^{*}(s)=\max_{\pi_{\text{behave}},q}\mathbb{E}_{a\sim\pi_{\text{behave}}(\cdot\mid s)}\left[\alpha R(s,a)+\mathbb{E}_{s^{\prime}\sim P(\cdot\mid s,a)}\left[\beta\log\left(\frac{q(a\mid s^{\prime},s)}{\pi_{\text{behave}}(a\mid s)}\right)+\gamma V^{*}(s^{\prime})\right]\right] (5)
我们现在可以开发一个类似于该公式的塑性贝尔曼最优性方程。我们专注于没有外部奖励（或α设为0）的场景，以隔离并检查塑性的信息论价值以及不受外部奖励影响的最终策略。

## 3 塑性的贝尔曼最优性方程

### 3\.1 塑性与赋能价值通道

在Leibfried等人（2019）（https://arxiv.org/html/2609.10776#bib.bib3）中，他们创建了一个分离当前和未来信息的价值函数。给定St，他们使用I(At,St+1∣St)作为步骤奖励，V(St+1)作为未来奖励，如下所示。

I(At;St+1∣St)I(A_{t};S_{t+1}\mid S_{t})γV(St+1)\\gamma V(S_{t+1})StS_{t}St+1S_{t+1}St+2S_{t+2}...\\dotsSt+nS_{t+n}AtA_{t}At+1A_{t+1}At+2A_{t+2}At+n−1A_{t+n-1}

在本文中，我们为塑性制定了等效的对应物。我们使用步骤奖励I(St+1,At+1|St,At)和未来上下文V(St+1,At+1)作为未来价值。

I(St+1;At+1∣St,At)I(S_{t+1};A_{t+1}\mid S_{t},A_{t})γV(St+1,At+1)\\gamma V(S_{t+1},A_{t+1})StS_{t}St+1S_{t+1}St+2S_{t+2}...\\dotsSt+nS_{t+n}AtA_{t}At+1A_{t+1}At+2A_{t+2}At+n−1A_{t+n-1}

### 3\.2 贝尔曼最优性方程定义

我们现在引入塑性的贝尔曼最优性方程。我们通过证明相关的贝尔曼算子是一个压缩算子来建立其理论基础，完整证明推迟至附录A。

V∗(st−1,at−1)=maxπ∈Π(st−1,at−1)⁡Est∼p[Eat∼π[logπ(at∣st−1,at−1,st)q(at∣st−1,at−1)+γV∗(st,at)]]V^{*}(s_{t-1},a_{t-1})=\max_{\pi\in\Pi(s_{t-1},a_{t-1})}\underset{s_{t}\sim p}{\mathbb{E}}\left[\underset{a_{t}\sim\pi}{\mathbb{E}}\left[\log\frac{\pi(a_{t}\mid s_{t-1},a_{t-1},s_{t})}{q(a_{t}\mid s_{t-1},a_{t-1})}+\gamma V^{*}(s_{t},a_{t})\right]\right] (6)
这里，Π(st−1,at−1)\\Pi(s_{t-1},a_{t-1})表示在所有地方与当前策略匹配，但在p(⋅∣st−1,at−1)p(\cdot\mid s_{t-1},a_{t-1})的非零值处例外的策略集合。qq边际定义如下：

q(at∣st−1,at−1)=∑stp(st∣st−1,at−1)⋅π(at∣st−1,at−1,st)q(a_{t}\mid s_{t-1},a_{t-1})=\sum_{s_{t}}p(s_{t}\mid s_{t-1},a_{t-1})\cdot\pi(a_{t}\mid s_{t-1},a_{t-1},s_{t}) (7)
为了在表格学习环境中应用这个贝尔曼价值函数，必须将策略与历史状态和动作一起增强。对于每个历史上下文，由于来自qq边际的耦合，必须联合优化所有可以从p(st∣st−1,at−1)p(s_{t}\mid s_{t-1},a_{t-1})产生的下一个状态st的动作分布。下面描述了该问题的一个可计算方法。

### 3\.3 算法优化

如附录中所证明，贝尔曼算子可以限制在确定性策略上。因此，对于每个历史上下文，搜索集由确定性动作分布的所有不同组合的最大值组成。这需要搜索|A||S||A|^{|S|}种组合，其中|A||A|是动作数量，|S||S|是从每个历史上下文产生的不同状态的数量。这个搜索空间会迅速变得难以处理，因此需要进一步优化。

### 3\.4 多重背包动态规划

因为边际分布q(at∣st−1,at−1)q(a_{t}\mid s_{t-1},a_{t-1})是共享的，所以所有下一个状态st的动作选择是耦合的，不能单独优化。然而，通过将优化问题构建为多重背包问题，可以显著减少这个联合搜索空间。

在这个表述中，每个下一个状态st作为一个物品，我们必须为其选择一个动作at。选择动作at为qq边际的相应坐标贡献一个“权重”，等于转移概率p(st∣st−1,at−1)p(s_{t}\mid s_{t-1},a_{t-1})，同时产生一个线性的未来价值γV(st,at)\\gamma V(s_{t},a_{t})。我们背包的维度跟踪动作空间中累积的权重分布。通过使用动态规划，我们在动作选择路径上跟踪相同的累积权重状态，从而允许我们剪枝次优组合并停止冗余计算。

算法 1 塑性的表格价值迭代
输入：状态空间

S\\mathcal{S}，动作空间

A\\mathcal{A}，转移概率

p(st∣st−1,at−1)p(s_{t}\mid s_{t-1},a_{t-1})，折扣因子

γ\\gamma，收敛阈值

θ>0\\theta>0
输出：最优价值函数

V∗(s,a)V^{*}(s,a)和最优策略

π∗(at∣st−1,at−1,st)\\pi^{*}(a_{t}\mid s_{t-1},a_{t-1},s_{t})
1 初始化

V(s,a)←0V(s,a)\leftarrow 0 对于所有

(s,a)∈S×A(s,a)\in\mathcal{S}\times\mathcal{A}
2 初始化

π(at∣st−1,at−1,st)←1(at=a∗)\pi(a_{t}\mid s_{t-1},a_{t-1},s_{t})\leftarrow\mathbf{1}(a_{t}=a^{*}) 其中

a∗∼U(A)a^{*}\sim U(\mathcal{A})，对于所有

(st−1,at−1,st,at)∈S×A×S×A(s_{t-1},a_{t-1},s_{t},a_{t})\in\mathcal{S}\times\mathcal{A}\times\mathcal{S}\times\mathcal{A}
3 重复
4

Δ←0\Delta\leftarrow 0
5 对于每个 (st−1,at−1)∈S×A(s_{t-1},a_{t-1})\in\mathcal{S}\times\mathcal{A} *执行
6

v←V(st−1,at−1)v\leftarrow V(s_{t-1},a_{t-1})
7

V(st−1,at−1),π∗(⋅∣st−1,at−1,⋅)←解决多重背包动态规划(π,V,p,γ)V(s_{t-1},a_{t-1}),\pi^{*}(\cdot\mid s_{t-1},a_{t-1},\cdot)\leftarrow\text{解决多重背包动态规划}(\pi,V,p,\gamma)
8

Δ←max(Δ,∥v−V(st−1,at−1)∥)\Delta\leftarrow\max(\Delta,\|v-V(s_{t-1},a_{t-1})\|)
9 结束 每个循环
10 直到 Δ<θ\Delta<\theta

## 4 塑性-赋能景观

为了建立关于塑性和赋能动态的直觉，我们引入了一个最小基准环境，旨在隔离两个指标之间的独特策略交互。经确定的最简单架构，保留了丰富的、非平凡的塑性-赋能景观，是图1（https://arxiv.org/html/2609.10776#S4.F1）所示的马尔可夫决策过程。

S0S_{0}S1S_{1}a0,1:0.5a_{0,1}:0.5a0,1:0.5a_{0,1}:0.5a0:1.0a_{0}:1.0a1:1.0a_{1}:1.0图1：控制门控MDP基准环境。我们将此环境命名为控制门控MDP。尽管规模最小，但它展现出几个引人入胜的分析特性：

1. 计算效率：仅由两个状态和两个动作组成，允许精确、快速的数值优化和完整的策略枚举。
2. 非对称可控性：它包含一个高度赋能的状态（S1S_{1}）和一个非赋能的状态（S0S_{0}）。

通过以0.01的粒度网格搜索所有有效的随机策略π(a∣s)\\pi(a\mid s)，我们绘制了图2（https://arxiv.org/html/2609.10776#S4.F2）所示的离散化、经验塑性-赋能率景观。塑性和赋能是针对给定策略和环境的、从状态到动作以及反向的总有向信息的度量。尽管两个指标都依赖于环境，但塑性的最大信息率（以比特为单位）受限于log2|A|\\log_{2}|A|，而赋能受限于log2|S|\\log_{2}|S|。

参见图例图2：通过策略枚举映射的经验塑性-赋能前沿。最大化塑性的策略πplastic∗\\pi^{*}_{\text{plastic}}确定性地选择动作，其中πplastic∗(1∣0)=1\\pi^{*}_{\text{plastic}}(1\mid 0)=1且πplastic∗(0∣1)=1\\pi^{*}_{\text{plastic}}(0\mid 1)=1。相反，最大化赋能的策略πempower∗\\pi^{*}_{\text{empower}}表现出更分散的行为：它在状态00中均匀行动，使得πempower∗(a∣0)=12\pi^{*}_{\text{empower}}(a\mid 0)=\frac{1}{2}，对于a∈{0,1}a\in\{0,1\}，而在状态11中，它选择动作的概率为πempower∗(0∣1)=13\pi^{*}_{\text{empower}}(0\mid 1)=\frac{1}{3}和πempower∗(1∣1)=23\pi^{*}_{\text{empower}}(1\mid 1)=\frac{2}{3}。在视觉上，这种分歧反映在策略景观中：高塑性策略占据图中的蓝色区域，而赋能策略的特征则是蓝色和红色区域的混合。

## 5 实验

### 5\.1 控制门控MDP

我们在控制门控MDP中评估我们的贝尔曼最优性方程。我们在每次迭代中记录每个历史上下文的价值以及当前的塑性和赋能。

图3：控制门控MDP的结果。