动态不确定性下的风险量化：面向安全序列决策的基于信念的鲁棒性

# 在动态不确定性下的风险量化：面向安全序贯决策的信念依赖鲁棒性  
来源：https://arxiv.org/html/2608.17574  

## 在动态不确定性下的风险量化：面向安全序贯决策的信念依赖鲁棒性  

**致谢**：Deep Kumar Ganguly 的研究得到德国研究基金会（DFG）通过研究培训小组 GRK 2428 ConVeY 的支持。Jan Křetínský 是 RobustiAI 项目的负责人之一。  

**作者**：Deep Kumar Ganguly、Jan Křetínský  
**机构**：  
- 德国慕尼黑工业大学  
- 捷克共和国马萨里克大学  

**邮箱**：[[email protected]](mailto:[email protected])  

### 摘要  
许多智能体在环境尚未完全明确时就必须开始行动，由此引出一个基本问题：它们应该有多谨慎？固定的答案很少正确——过度谨慎会在环境被充分理解后浪费机会，而基于平均情况的规划在早期可能不安全。我们提出 RATTL（Risk-Adversarial Total-Reward Learning，风险对抗总奖励学习）框架，将智能体的谨慎程度与其未知信息量联系起来。智能体维护一个关于环境未知部分的贝叶斯信念，并针对一系列可能的动态变化进行规避，这一系列的大小随信念的不确定性而增长，通过 Wasserstein（最优传输）距离来衡量；随着学习的进行，这一范围缩小，行为平滑地从最坏情况下的谨慎转向常规奖励最大化。该思想源于 Entropic Value-at-Risk，它将“我应该有多谨慎？”重新表述为“我的可信模型集应该有多大？”。我们为该框架奠定了形式化基础：规划问题被合理定义，其值始终介于完全谨慎的基准与拥有完全知识时所能达到的最佳值之间——形成一种“安全三明治”——并且随着环境被识别，这一差距逐渐缩小。我们还初步确定了这种谨慎所编码的风险类型，表明在典型的危险情境中，它与一种熟悉的尾部风险度量（条件风险价值）相符，其严重程度由信念熵决定。一个简单的实例表明，智能体在获得足够信心之前会保持克制，然后在明确的阈值处切换到高效行动。RATTL 旨在为需要在不确定性下行动的智能体（包括基于 LLM 的系统）提供运行时安全性保障。  

## 1 问题：随学习而变化的风险  

考虑一个必须在实时行动中逐步识别环境的自主系统：一辆面临意图不明驾驶员的自动驾驶汽车、一个在诊断结果返回前选择治疗方案的医疗AI，或一个基于 LLM 的智能体在面对未知复杂度的对手时调用工具。智能体维护着一个关于隐藏环境参数的**信念**，并通过观察进行更新，但必须**立即**承诺行动。在每一刻它应该容忍多少风险？这取决于剩余的不确定性程度：早期，即使很小的灾难概率也值得谨慎；一旦环境被大部分识别，风险中性优化才是合适的。智能体的风险态度应是其认知状态的函数，随着信息积累，保守性逐渐降低。传统的鲁棒控制（统一最坏情况推理）和贝叶斯强化学习（在广泛信念下的期望价值）都无法实现这一点。需要一个合理的机制来连续调整智能体在**风险谱**上的位置（图1）。  

E⁡\[X\]\\mathbb\{E\}\[X\] — 风险中性  
CVaRα\\mathrm\{CVaR\}\_\{\\alpha\} — 尾部平均  
EVaRα\\mathrm\{EVaR\}\_\{\\alpha\} — 信息熵  
esssup\(X\)\\mathrm\{ess\\,sup\}\(X\) — 最坏情况  
≤\\leq≤\\leq≤\\leq — *保守性*  
RATTL：信念熵在此谱上选择位置  

图 1：一致性风险层次结构：EVaR 是覆盖从 E\\mathbb\{E\} 到 esssup\\mathrm\{ess\\,sup\} 的单参数一致性族。RATTL 使用信念熵 H⁡\(b\)\\mathcal\{H\}\(b) 在其上滑动。  

### 贡献  
（i）我们形式化了 RATTL：将部分可观测的轮流随机博弈简化为**主观鲁棒 MDP**，其 Wasserstein 模糊半径等于贝叶斯信念的香农熵（§3）。  
（ii）我们证明了三个保证——收缩性、安全三明治以及收敛到最优响应——每个保证都有精确的、经对抗检验的成立条件（§4）。  
（iii）我们初步探讨了 Wasserstein 模糊性的风险度量身份：内部鲁棒值是一致的，并且等于 Lipschitz 正则化的期望；在双点灾难情形下，它**恰好**是一个尾部水平由熵控制的 CVaR（§5）。  
（iv）我们提供了一个完整的实例，展示了明确的安全切换（§6）。  

## 2 风险谱及为何选择 EVaR  

对于随机成本 X，标准的一致性风险度量形成一个保守性递增的层次结构 1：  
E⁡\[X\]≤CVaRα\(X\)≤EVaRα\(X\)≤esssup\(X\)  
\\mathbb\{E\}\[X\]\\leq\\mathrm\{CVaR\}\_\{\\alpha\}\(X\)\\leq\\mathrm\{EVaR\}\_\{\\alpha\}\(X\)\\leq\\mathrm\{ess\\,sup\}\(X\)。  

**Entropic Value-at-Risk** 是从指数矩获得的 CVaR 的最紧上界：  
EVaRα\(X\)=inft>0\{1tln⁡E⁡\[etX\]α\}。  
\\mathrm\{EVaR\}\_\{\\alpha\}\(X\)=\\inf\_\{t>0\}\\\!\\left\\\{\\tfrac{1}{t}\\ln\\tfrac{\\mathbb\{E\}\[e^\{tX\}\]}{\\alpha}\\right\\\}\.(1)  

两个精确性质使 EVaR 成为自然的*驱动*调节器。首先，它是一个单参数*一致*族，覆盖整个频谱：EVaR₁=E\\mathrm\{EVaR\}\_\{1\}=\\mathbb\{E\}，且当 α→0⁺ 时 EVaRα→esssup\\mathrm\{EVaR\}\_\{\\alpha\}\\to\\mathrm\{ess\\,sup\}（我们使用它是因为其覆盖范围及其 KL-DRO 对偶性，并非唯一此类族）。其次，它具有精确的 DRO 对偶：  
EVaRα\(X\)=supDKL\(Q∥P\)≤−lnαEQ\[X\],  
\\mathrm\{EVaR\}\_\{\\alpha\}\(X\)=\\sup\_\{\\,D\_\{\\mathrm\{KL\}\}\(Q\\|P\)\\,\\leq\\,-\\ln\\alpha\\}\\mathbb\{E\}\_\{Q\}\[X\],(2)  
因此，选择置信水平 α\\alpha 等同于选择围绕名义 P 的 KL 球半径 −ln⁡α\\-\\ln\\alpha。这正是我们利用的等价关系：它将“智能体应该有多保守？”转化为“模糊集应该有多大？”——后者在智能体的认知不确定性中有自然的答案。我们谨慎地只声称这一点：EVaR 提供了概念桥梁。RATTL 的操作模糊集是 Wasserstein 类型的，出于第5节中阐述的安全原因，它们所诱导的精确风险度量是该节的主题。  

## 3 RATTL：信念熵作为风险调节器  

### 设置  
一个部分可观测的轮流随机博弈（PO-TBSG）包含有限状态 S\\mathcal\{S\}、有限动作 A\\mathcal\{A\}、有限对手类型集 Z\\mathcal\{Z\}、终端集 T⊂S\\mathcal\{T\}\\subset\\mathcal\{S\}，以及对于每种类型 z，一个转移核 P\(⋅∣s,a,z\)∈Δ\(S\)P\(\\cdot\\mid s,a,z\)\\in\\Delta(\\mathcal\{S\})。奖励 r⁡\(s,a\)r\(s,a) 有界，终端奖励 r⁡\(s\)r\(s) 定义于 s∈Ts\\in\\mathcal\{T\}。我们使用无折扣的总奖励标准（一个适当的/随机最短路径 MDP）。智能体维护一个关于类型的贝叶斯信念 b∈Δ⁡(Z)b\\in\\Delta(\\mathcal\{Z\})，通过下式更新：  
ψ⁡(b,s,a,s′)(z)=P⁡(s′∣s,a,z)b(z)∑z′P⁡(s′∣s,a,z′)b(z′),  
\\psi(b,s,a,s^\{\\prime\})(z)=\\frac{P(s^\{\\prime}\\mid s,a,z)\\,b(z)}{\\sum\_\{z^\{\\prime\}\}P(s^\{\\prime}\\mid s,a,z^\{\\prime\})\\,b(z^\{\\prime\})},(3)  
以及信念平均的（名义）核 P ̄b(⋅∣s,a)=∑zb(z)P(⋅∣s,a,z)\\bar\{P\}\_\{b\}(\\cdot\\mid s,a)=\\sum\_\{z\}b(z)P(\\cdot\\mid s,a,z)。  

#### 定义 1（熵调节模糊集）  
对于 S\\mathcal\{S\} 上的基础度量 d 和风险敏感度 β>0β>0，  
U(b∣s,a)={Q∈Δ(S):W1(Q,P ̄b(⋅∣s,a))≤βH(b)},  
\\mathcal\{U\}(b\\mid s,a)=\\big\\{\\,Q\\in\\Delta(\\mathcal\{S\}):W\_\{1\}\\!\\big(Q,\\bar\{P\}\_\{b\}(\\cdot\\mid s,a)\\big)\\leq\\beta\\,\\mathcal\{H\}(b)\\,\\big\\},(4)  
其中 W₁W\_\{1\} 是 1-Wasserstein 距离，H(b)=−∑zb(z)lnb(z)\\mathcal\{H\}(b)=-\\sum\_\{z\}b(z)\\ln b(z) 是香农熵。半径 ε(b)=βH(b)\\varepsilon(b)=\\beta\\mathcal\{H\}(b)*隐式地选择*了智能体的保守性：分散的信念导致宽模糊（实际上是鲁棒最坏情况），尖锐的信念导致窄模糊（实际上是风险中性），两者之间是渐进的保守性（图2）。在有界 V:S×Δ⁡(Z)→RV:\\mathcal\{S\}\\times\\Delta(\\mathcal\{Z\})\\to\\mathbb\{R\} 上（对于 s∈Ts\\in\\mathcal\{T\}，V⁡(s,⋅)=r⁡(s)V(s,\\cdot)=r(s)）诱导的*纳什鲁棒贝尔曼算子*为：  
(TV)(s,b)=maxa⁡[r⁡(s,a)+infQ∈U(b∣s,a)∑s′Q(s′)V(s′,ψ(b,s,a,s′))].  
\\resizebox{20801085}{}{$\\displaystyle(\\mathbb\{T\}V)(s,b)=\\max\_\{a\}\\!\\Big[r(s,a)+\\!\\!\\inf\_\{Q\\in\\mathcal\{U\}(b\\mid s,a\)}\\!\\!\\sum\_\{s^\{\\prime\}\}Q(s^\{\\prime\})\\,V\\!\\big(s^\{\\prime\},\\psi(b,s,a,s^\{\\prime\})\\big)\\Big\]$}.(5)  
信念更新 ψ\\psi 在期望*内部*应用，将对手的核选择与智能体未来的信息状态耦合。该算子具有博弈解释：智能体（Max）选择一个动作；一个虚构的对手（自然/Min）在当前的模糊预算内选择最差的核。RATTL 与已知的 RMDP→\\to 随机博弈简化 4 的方向*相反*：与其将 RMDP 扩展为博弈，我们将部分可观测博弈压缩为一个主观鲁棒 MDP，其不确定性集是*非平稳的*，随信念演化。  

sFs\_\{F\} sbrs\_\{\\mathrm\{br\}\} sGs\_\{G\} b=(.5,.5) H=0.69  
sFs\_\{F\} sbrs\_\{\\mathrm\{br\}\} sGs\_\{G\} b=(.85,.15) H=0.42  
sFs\_\{F\} sbrs\_\{\\mathrm\{br\}\} sGs\_\{G\} b=(.99,.01) H=0.06  
图 2：在三个信念熵递减的信念下，下一个状态单纯形上的 Wasserstein 模糊球 U(b)\\mathcal\{U\}(b)。随着信念变尖锐，球收缩（其中心 P ̄b\\bar\{P\}\_\{b\} 移动）：高熵让对手能将概率质量推向灾难状态；低熵使其几乎无力。  

### 假设  
我们分离出定理所需的条件。  

#### 假设 1（适当性）  
在每个策略下和每个 U(b)\\mathcal\{U\}(b) 中的每个核选择下，终端集 T\\mathcal\{T\} 以概率 11 被达到。  

#### 假设 2（一致可达性）  
存在 m≥1m\\geq 1 和 η∈(0,1]\\eta\\in(0,1]，使得从每个非终端 (s,b)(s,b) 出发，在每个容许控制下和对手核下，T\\mathcal\{T\} 在 m 步内被达到的概率 ≥η\\geq\\eta。  

#### 假设 3（可识别性）  
对所有 z≠z′z\\neq z^\{\\prime\}，存在一个 (s,a)(s,a) 使得 P(⋅∣s,a,z)≠P(⋅∣s,a,z′)P(\\cdot\\mid s,a,z)\\neq P(\\cdot\\mid s,a,z^\{\\prime\})。  

假设 2 是信念*连续统*所迫使的量化强化：仅几乎必然可达性（假设 1）不一定能在 Δ⁡(Z)\\Delta(\\mathcal\{Z\}) 上给出一致有界的期望命中时间。当有限 S,A,Z\\mathcal\{S\},\\mathcal\{A\},\\mathcal\{Z\} 时，只要在（紧致的）动作×\\times 对手集上单步吸收概率有下界，该假设就成立。奖励始终假设有界。  

## 4 理论保证  

#### 定理 1（收缩性）  
在假设 1–2 下，令 w⁡(s)=supbsupadm.E(s,b)[τT]w(s)=\\sup\_\{b\}\\sup\_\{\\mathrm\{adm.\}\\}\\mathbb\{E\}^\{(s,b)\}[\\tau\_\{\\mathcal\{T\}\}] 为最坏情况期望命中时间。则 1≤w⁡(s)≤W:=m/η<∞1\\leq w(s)\\leq W:=m/\\eta<\\infty，并且 T\\mathbb\{T\} 是模为 ρ=1−1/W<1\\rho=1-1/W<1 的收缩算子，作用于仿射空间 {V:V⁡(s,⋅)=r⁡(s)∀s∈T}\\{V:V(s,\\cdot)=r(s)\\ \\forall s\\in\\mathcal\{T\}\\} 上的加权上范数 ‖V‖w=maxs∉T,b⁡|V⁡(s,b)|/w⁡(s)\\|V\\|\_\{w\}=\\max\_\{s\\notin\\mathcal\{T\},b\}|V(s,b)|/w(s)。因此 T\\mathbb\{T\} 有唯一不动点 V∗V^{\*\} 且 TkV→V∗\\mathbb\{T\}^\{k\}V\\to V^\{\*\} 几何收敛。  

#### 证明概要  
对假设 2 在 m 步块上迭代给出 Pr(τT>km)≤(1−η)k\\Pr(\\tau\_\{\\mathcal\{T\}\}>km)\\leq(1-\\eta)^\{k\}，因此 w⁡(s)≤m/ηw(s)\\leq m/\\eta 对 b 和策略一致成立；从而 ‖⋅‖w\\|\\cdot\\|\_\{w\} 是仿射空间上的真正范数（在 T\\mathcal\{T\} 上差异为零）且等价于完备的 ‖⋅‖∞\\|\\cdot\\|\_\{\\infty\}。固定集上的内层 inf\\inf 是非扩张的，\\|infQf−infQg\\|≤supQ\\|f−g\\|\\|\\inf\_\{Q\}f-\\inf\_\{Q\}g\\|\\leq\\sup\_\{Q\}\\|f-g\|，且由于 r⁡(s,a)r(s,a) 抵消而 maxa\\max\_\{a\} 是非扩张的，一步漂移不等式 (Lw)(s)≤w⁡(s)−1(\\mathcal\{L\}w)(s)\\leq w(s)-1（最坏情况单位成本 SSP，3）给出  
|(TV−TV′)(s,b)|≤‖V−V′‖w(w⁡(s)−1)  
|(\\mathbb\{T\}V-\\mathbb\{T\}V^\{\\prime\})(s,b)|\\leq\\|V-V^\{\\prime\}\\|\_\{w\}\\,(w(s)-1)；  
除以 w⁡(s)w(s) 并利用 w≤Ww\\leq W 得到模 1−1/W1-1/W。信念增强无害：ψ\\psi 是历史的确定性函数，奖励仅依赖 (s,a)(s,a)，且 T⊂S\\mathcal\{T\}\\subset\\mathcal\{S\} 故可达性独立于 b\\beta。完整证明见附录 A。  

下一条结果是审稿人要求我们具体化的：鲁棒性结合学习在行为上*做了什么？*它将值括在两个参考策略之间。  

#### 定理 2（安全三明治）  
令 VmaximinV\_\{\\mathrm\{maximin\}\} 为与 (5) 相同但半径*冻结*在 εmax=βln‖Z‖\\varepsilon\_\{\\max\}=\\beta\\ln\\|\\mathcal\{Z\}\|（相同中心 P ̄b\\bar\{P\}\_\{b\}）的算子的不动点，并令 VBR(⋅,z)V\_\{\\mathrm\{BR\}\}(\\cdot,z) 为已知类型 z 的非鲁棒 MDP 的最优值。在假设 1–3 下，  
Vmaximin(s,b)≤V∗(s,b)≤∑z∈Zb(z)VBR(s,z)∀(s,b)。  
V\_\{\\mathrm\{maximin\}\}(s,b)\\ \\leq\\ V^\{\*\}(s,b)\\ \\leq\\ \\sum\_\{z\\in\\mathcal\{Z\}\}b(z)\\,V\_\{\\mathrm\{BR\}\}(s,z)\\quad\\forall(s,b)。(6)  

#### 证明  
*下界*：由于 H(b)≤ln‖Z‖\\mathcal\{H\}(b)\\leq\\ln\\|\\mathcal\{Z\}\| 且两个球共享中心 P ̄b\\bar\{P\}\_\{b\}，有 U(b)⊆Umax(b)\\mathcal\{U\}(b)\\subseteq\\mathcal\{U\}\_\{\\max\}(b)；在更大集上的 inf 不大于，因此对每个 V，逐点有 TmaxV≤TV\\mathbb\{T\}\_\{\\max\}V\\leq\\mathbb\{T\}V。从 V∗V^\{\*\} 开始值迭代并利用单调性，对所有 k 有 TmaxkV∗≤TV∗=V∗\\mathbb\{T\}\_\{\\max\}^\{k\}V^\{\*\}\\leq\\mathbb\{T\}V^\{\*\}=V^\{\*\}；令 k→∞k\\to\\infty 得 Vmaximin≤V∗V\_\{\\mathrm\{maximin\}\}\\leq V^\{\*\}。  
*上界*：对任何策略 π\\pi，名义核是可行的（P ̄b∈U(b)\\bar\{P\}\_\{b\}\\in\\mathcal\{U\}(b)），因此鲁棒值 Vrobπ≤VnomπV^\{\\pi\}\_\{\\mathrm\{rob\}\}\\leq V^\{\\pi\}\_\{\\mathrm\{nom\}\}。运行 P ̄b\\bar\{P\}\_\{b\} 并采用 ψ\\psi 更新正是混合过程“抽一次 z∼bz\\sim b，然后遵循 P(⋅∣⋅,⋅,z)P(\\cdot\\mid\\cdot,\\cdot,z)”的边缘-后验分解；因此轨迹律一致，且 Vnomπ(s,b)=∑zb(z)Vzπ(s)V^\{\\pi\}\_\{\\mathrm\{nom\}\}(s,b)=\\sum\_\{z\}b(z)V^\{\\pi\}\_\{z\}(s)。