强化学习智能体中跨诊断的类障碍表型空间

# 强化学习智能体中类障碍表型的跨诊断空间
来源：https://arxiv.org/html/2607.07753

###### 摘要

在人工智能体中建模心理障碍，既为计算精神病学提供了试验平台，也为情感控制的失败模式提供了视角。先前的工作通过手动调整奖励塑形，在强化学习智能体中诱导一或两种障碍，事后标记行为，并报告单次运行。我们将障碍建模重新定义为对评估引导型PPO智能体中认知评估信号的可控剂量操纵，将七种障碍（焦虑、躁狂、强迫性检查、抑郁、冲动、成瘾和创伤后应激）各自表达为一个基于计算精神病学解释的单一旋钮，每个症状通过预先注册的测试范式进行测量。在超过一千次运行（10个随机种子、四个对照组、95%置信区间）中，每种障碍都显示出渐进的、单调的剂量反应曲线，而对照组无任何复现。除了这些诱导效应外，还出现了三个未被写入奖励的发现：这些障碍自发组织成一个二维情感空间，其中躁狂与焦虑互为镜像；移除一个旋钮可缓解奖励扭曲类障碍（躁狂、检查、成瘾），但不能缓解回避类障碍（焦虑、PTSD），后者需通过分级暴露课程才能恢复；两个同时激活的旋钮产生非加性交互，产生可检验的共病预测。因此，评估权重参数化了一个可控的情感表型空间，其中诱导障碍的同一旋钮也可用于建模其治疗。我们还展示了三个障碍旋钮（抑郁、成瘾、焦虑）能够迁移到一个三维像素环境（MiniWorld），使用标准卷积智能体且无评估评论家，跨两个领域的交叉测试验证了其区分效度，表明该框架并非网格世界或PPO的评估评论家所独有。

## 引言

强化学习智能体越来越多地应用于医疗、交通和人机交互助手等领域，在这些场景中，智能体的情感稳定性是一种安全属性而非仅仅是好奇心问题：过度重视伤害或奖励的价值估计会导致回避、固着、冻结或鲁莽行为，从而损害可靠性和用户信任。从这个角度来看，心理障碍正是情感控制的典型失败模式，而能够在实验控制下诱导、测量并逆转这些失败的智能体，是一个有价值的研究对象。

同样的对象对计算精神病学也很有价值，其核心目标是将症状学的跨诊断维度与产生这些症状的潜在学习和决策计算联系起来\[Montague et al. 2012 (https://arxiv.org/html/2607.07753#bib.bibx13), Huys et al. 2016 (https://arxiv.org/html/2607.07753#bib.bibx5), Maia and Frank 2011 (https://arxiv.org/html/2607.07753#bib.bibx10), Insel et al. 2010 (https://arxiv.org/html/2607.07753#bib.bibx29)\]。人类和啮齿类研究通过抽象的多臂赌博机或马尔可夫决策任务来拟合行为，但无法连续操纵障碍的严重程度，也无法观察从健康到病理再返回的完整轨迹。人工智能体可以做到这一点。

评估理论\[Lazarus 1991 (https://arxiv.org/html/2607.07753#bib.bibx9), Scherer 2001 (https://arxiv.org/html/2607.07753#bib.bibx16)\]认为，情感源于对事件相对于智能体目标进行的领域无关评价（相关性、确定性、新颖性、一致性、应对潜力和预期）。这些维度与强化学习中使用的内在动机信号\[Sequeira et al. 2011 (https://arxiv.org/html/2607.07753#bib.bibx18)\]存在重叠，这使得评估成为情感与价值学习之间的自然接口。先前的工作使用评估来*引发*情绪；而我们则使用它们以分级、可控的方式*诱导*障碍。

现有的强化学习障碍模型存在三个弱点。操纵是手动调整的，而非源于机制性解释，因此与临床构念的映射关系松散。行为是事后标记的（“这看起来像强迫症”），而非根据事先指定的标准进行测量，容易产生确认偏差。结果通常是单次运行，没有方差或对照组。

我们解决了所有这三个问题，但我们的核心主张更强，值得明确陈述以预先防范明显的质疑。通过奖励塑形来诱导某种行为可能使该行为变得琐碎：惩罚威胁，智能体当然会回避。因此，我们将*诱导*效应（剂量反应曲线）与*涌现*效应区分开来，前者仅*验证*每个旋钮表现良好且具有梯度性，后者则未被写入奖励，是本文的主要贡献。三个结果是涌现的。七种障碍自我组织成一个二维情感空间，其中躁狂是焦虑的精确镜像，尽管两者是通过同一旋钮的不同符号训练的，且在训练过程中从未相互比较。移除一个障碍的旋钮揭示了奖励项中未编码的“缓解与抵抗”分离。同时放置两个旋钮会产生非加性交互。我们的贡献是：

1. 1.涌现的跨诊断结构：七种障碍在奖励–方法 × 威胁–回避空间中占据可预测且互相一致的区域，其中躁狂与焦虑互为镜像（图4 (https://arxiv.org/html/2607.07753#Sx5.F4)）。
2. 2.涌现的治疗分离及其解决方案：移除病理旋钮可缓解奖励扭曲障碍，但不能缓解习惯/回避障碍；然后通过分级暴露与反应阻止课程恢复那些抵抗型障碍，这反映了为何临床上回避需要主动暴露（图5 (https://arxiv.org/html/2607.07753#Sx5.F5)，表4 (https://arxiv.org/html/2607.07753#Sx5.T4)）。
3. 3.涌现的共病：两个同时激活的旋钮产生非加性交互，这是框架做出的可检验预测，我们对此进行了测试（图6 (https://arxiv.org/html/2607.07753#Sx5.F6)）。
4. 4.一个实现上述功能的、基于理论的可控底物：AG-PPO（图1 (https://arxiv.org/html/2607.07753#Sx1.F1)），包含七个旋钮，每个旋钮与一个已命名的计算精神病学解释相关联（表1 (https://arxiv.org/html/2607.07753#Sx4.T1)），预先注册的测试范式，10个随机种子的剂量反应曲线及置信区间，以及四个不重现任何表型的对照组（表2 (https://arxiv.org/html/2607.07753#Sx5.T2)，表3 (https://arxiv.org/html/2607.07753#Sx5.T3)）。

动态环境 通用编码器 Actor Critic 评估估计 NRE 网络 动作 价值 ζ ζ 奖励塑形 ρ(ζ) ρ(ζ) 图1：AG-PPO。一个共享的卷积编码器为Actor和Critic提供输入；Critic额外接收六维评估向量ζ ζ。一个下一奖励（NRE）网络提供预期评估。评估还塑造环境奖励。障碍旋钮是塑形函数或折扣因子中的一个单一项。
## 相关工作

##### 强化学习中的情感与情感计算。

情感的计算模型将评估理论与强化学习相结合以引发情感反应，通过时间差分信号和内在动机特征来操作化评估维度\[Sequeira et al. 2011 (https://arxiv.org/html/2607.07753#bib.bibx18), Moerland et al. 2018 (https://arxiv.org/html/2607.07753#bib.bibx12)\]。符号化架构如OCC模型提供了结构化的情感表征，但难以适应非结构化任务。这些工作针对情感*引发*；我们则使用评估作为可控的病理旋钮，并针对临床范式评估所产生的行为。

##### 计算精神病学。

核心目标是将跨诊断的症状维度与潜在的学习和决策计算联系起来\[Montague et al. 2012 (https://arxiv.org/html/2607.07753#bib.bibx13), Huys et al. 2016 (https://arxiv.org/html/2607.07753#bib.bibx5), Maia and Frank 2011 (https://arxiv.org/html/2607.07753#bib.bibx10)\]。经典的机制性解释包括：成瘾的奖励预测误差模型，其中药物信号未能被补偿\[Redish 2004 (https://arxiv.org/html/2607.07753#bib.bibx15)\]；意愿与喜欢分离的激励显著性假说\[Robinson and Berridge 1993 (https://arxiv.org/html/2607.07753#bib.bibx33)\]；抑郁症中的努力决策缺陷\[Treadway and Zald 2011 (https://arxiv.org/html/2607.07753#bib.bibx19), Beck 1979 (https://arxiv.org/html/2607.07753#bib.bibx30)\]；冲动中的陡峭延迟折扣\[Ainslie 1975 (https://arxiv.org/html/2607.07753#bib.bibx2)\]；强迫症中检查行为作为递减的安慰\[Rachman 2002 (https://arxiv.org/html/2607.07753#bib.bibx14)\]，眶额皮层功能障碍作为神经基础\[Chamberlain et al. 2008 (https://arxiv.org/html/2607.07753#bib.bibx32)\]；以及创伤后应激障碍中的恐惧消退受损\[Pitman et al. 2012 (https://arxiv.org/html/2607.07753#bib.bibx31)\]。这些通常通过抽象任务的行为数据来拟合。我们将其实现为一个单一空间智能体的行为表型，其严重程度可连续调节，使得剂量反应和治疗分析成为可能，而这是单纯拟合无法提供的。

##### 与先前基于评估的障碍建模工作的关系。

我们先前的工作\[Prasad, Jacob, and Ahamed 2024 (https://arxiv.org/html/2607.07753#bib.bibx3)\]引入了评估引导的PPO架构和本文使用的六项评估方程，并通过奖励塑形诱导了两种障碍（焦虑和强迫症），但事后标记行为并在单个网格世界上报告了单次运行。我们在此基础之上进行了实质性扩展：从两种障碍扩展到七种有理论基础的、剂量可控的障碍；从事后标记转向预先注册的测试范式；从单次运行扩展到十个随机种子、置信区间和四个对照条件；构建了一个统一的二维情感空间；并进行了模拟治疗的拯救与消退实验。

## 背景

##### 近端策略优化。

PPO\[Schulman et al. 2017 (https://arxiv.org/html/2607.07753#bib.bibx17)\]优化裁剪后的替代目标

LCLIP(θ)=E^t[min(rtA^t,clip(rt,1−ε,1+ε)A^t)],L^{\text{CLIP}}(\theta)=\hat{\mathbb{E}}_{t}\!\left[\min\!\big(r_{t}\hat{A}_{t},\,\text{clip}(r_{t},1{-}\epsilon,1{+}\epsilon)\,\hat{A}_{t}\big)\right], (1) 其中 rt r_t 是重要性比率，A^t \hat{A}_t 是广义优势估计。其基于在线策略、实时更新的特性适合我们研究的非平稳网格世界，其中障碍物和目标会移动。

##### 认知评估。

在每一步，智能体计算六个评估 ζit∈(0,1) \zeta^{t}_{i}\in(0,1)：动机相关性和目标一致性（智能体-目标距离的函数）、确定性和新颖性（策略的熵和一致性KL）、应对潜力（智能体视野外威胁的比例），以及预期（下一奖励预测误差的补集）。公式见补充材料。这些变量被重新缩放至 (0,1) (0,1)，并同时用于价值估计和奖励塑形。

## 方法

##### AG-PPO架构。

一个卷积编码器（三层，后接256单元头部）将 7×7×3 7×7×3 的自我中心符号观察映射为Actor和Critic共享的特征（图1 (https://arxiv.org/html/2607.07753#Sx1.F1)）。Critic额外接收六维评估向量，因此价值估计是评估知情；Actor生成三个动作（左转、右转、前进）的动作概率。一个下一奖励网络从 (ot−1,at−1) (o_{t-1},a_{t-1}) 预测 rt r_t 并提供预期评估。奖励被塑形为

rt′=rt−∑iwigi(ζt)−ceff[at=fwd]+bchk+bdrug−bshk,r^{\prime}_{t}=r_{t}-\textstyle\sum_{i}w_{i}\,g_{i}(\zeta^{t})-c_{\text{eff}}[a_{t}{=}\text{fwd}]+b_{\text{chk}}+b_{\text{drug}}-b_{\text{shk}}, (2) 其中 rt r_t 是环境在时间步 t t 给出的奖励，wi w_i 是评估塑形权重，ceff c_{\text{eff}} 是努力成本，bchk b_{\text{chk}} 是检查奖励，bdrug b_{\text{drug}} 是药物奖励，bshk b_{\text{shk}} 是创伤冲击。每个障碍恰好激活一个项；折扣因子 γ \gamma 是冲动旋钮。这使每个障碍隔离为单一、可解释的自由度。

##### 六项评估及其使用方式。

每一步，智能体计算六个评估 ζit∈(0,1) \zeta^{t}_{i}\in(0,1)。设 (xa,ya) (x_{a},y_{a}) 为智能体位置，(xg,yg) (x_{g},y_{g}) 为目标，w w 为网格大小，n n 为视野大小，p=softmax(logits) p=\mathrm{softmax}(\text{logits}) 为动作策略。动机相关性和目标一致性是几何量（智能体-目标距离）；确定性和新颖性来自Actor的动作分布；应对潜力来自视野中威胁的比例；预期是来自NRE网络的下一奖励误差的补集：

ζMRt\displaystyle\zeta^{t}_{\text{MR}} =1−(|xa−xg|+|ya−yg|)−12(w−1)\displaystyle=1-\tfrac{(|x_{a}{-}x_{g}|+|y_{a}{-}y_{g}|)-1}{2(w-1)} (3)
ζGCt\displaystyle\zeta^{t}_{\text{GC}} =1−(xa−xg)2+(ya−yg)2((n−1)/2)2+n2\displaystyle=1-\tfrac{\sqrt{(x_{a}{-}x_{g})^{2}+(y_{a}{-}y_{g})^{2}}}{\sqrt{((n{-}1)/2)^{2}+n^{2}}} (4)
ζCt\displaystyle\zeta^{t}_{\text{C}} =1−−∑plogp1−∑plogp\displaystyle=1-\tfrac{-\sum p\log p}{1-\sum p\log p} (5)
ζNt\displaystyle\zeta^{t}_{\text{N}} =KL(U∥p)1+KL(U∥p)\displaystyle=\tfrac{\mathrm{KL}(U\|p)}{1+\mathrm{KL}(U\|p)} (6)
ζCPt\displaystyle\zeta^{t}_{\text{CP}} =1−kobsnobs+ε\displaystyle=1-\tfrac{k_{\text{obs}}}{n_{\text{obs}}+\varepsilon} (7)
ζAt\displaystyle\zeta^{t}_{\text{A}} =1−|rt−NRE(ot−1,at−1)|\displaystyle=1-\big|r_{t}-\mathrm{NRE}(o_{t-1},a_{t-1})\big| (8)

其中 KL \mathrm{KL} 是KL散度\[Kullback and Leibler 1951 (https://arxiv.org/html/2607.07753#bib.bibx8)\]，U U 是均匀策略，kobs/nobs k_{\text{obs}}/n_{\text{obs}} 是视野内/总威胁数，ε \varepsilon 避免除以零。评估向量 ζt=(ζMR,ζC,ζN,ζGC,ζCP,ζA) \zeta^{t}=(\zeta_{\text{MR}},\zeta_{\text{C}},\zeta_{\text{N}},\zeta_{\text{GC}},\zeta_{\text{CP}},\zeta_{\text{A}}) 扮演两个角色。首先，它与编码器特征连接并被Critic使用，因此价值估计是评估知情的（图1中的AG-PPO Critic）。其次，它是公式2中奖励塑形的基础：焦虑和躁狂旋钮作用于应对潜力 ζCP \zeta_{\text{CP}}（分别惩罚低值或高值），而用作次级测试的应激指数是加权偏差 ∑i(1−ζi)wi \sum_{i}(1-\zeta_{i})w_{i}。其余旋钮（努力、检查、药物、冲击、折扣）直接作用于环境奖励而非通过 ζ \zeta，但Critic全程仍观察 ζ \zeta。

##### 障碍机制。

表1 (https://arxiv.org/html/2607.07753#Sx4.T1) 列出了每个旋钮及其理论基础。*焦虑*惩罚低应对潜力（视野中有威胁），诱导回避；*躁狂*是其精确镜像，惩罚高应对潜力，从而寻求威胁。*检查*授予返回检查点的奖励，其第 k k 次访问...