基于主动推理的个性化癌症治疗信念空间控制

# 基于信念空间控制的个性化癌症治疗：主动推理视角††致谢：作者感谢美国癌症研究协会及其在AACR Project GENIE注册中心开发中的材料支持，以及联盟成员对数据共享的承诺。解读由研究作者负责。来源：https://arxiv.org/html/2606.10376

###### 摘要

癌症治疗本质上是一个具有部分可观测性、潜在患者异质性以及医疗测量预算明确约束的序贯决策问题。与通过控制状态轨迹的标准强化学习方法不同，癌症治疗会永久性地改变患者的转移动力学，从而改变状态随时间的演化方式。我们将癌症治疗建模为一个使用主动推理的信念空间规划问题，推导出一个期望自由能目标，该目标在测量预算约束下统一了目标导向控制与信息获取。我们使用来自AACR Project GENIE生物制药协作数据集的实际临床癌症数据来实现这一框架。在临床数据上的结果表明，在真实的测量和治疗约束下，该方法能够同时实现患者分类和高治疗效率。

## 引言

癌症治疗是一个在部分可观测性、不确定性和明确资源约束下的序贯决策问题。在每个治疗阶段，临床医生选择治疗行动（例如，剂量、放疗）以及可选地选择诊断测量（例如，影像学或实验室测试），以控制疾病进展。潜在的患者状态，包括主观情况如生活质量和肿瘤负荷，仅部分可观测，而高保真测量成本高、具有侵入性，并且以有限的速率可用。因此，治疗决策必须在稀疏的、依赖于决策的观测和严格的测量预算下做出。此外，对治疗的反应取决于潜在的患者特定属性（例如，遗传、免疫和生理因素），这些属性事先未知，必须从异质性临床数据中推断。因此，有效的决策需要一个既能**控制**疾病进展又能从有限反馈中**学习**患者特定动态的策略。这引发了探索-利用权衡，该权衡与测量决策紧密耦合：诊断行动改善状态推断但消耗稀缺资源，而治疗行动既影响状态轨迹也影响未来决策可用信息。

从建模角度来看，癌症治疗不同于经典控制问题。在标准最优控制或强化学习公式中，行动影响瞬时状态，而系统动态基本保持不变。相比之下，肿瘤干预通常诱导**可塑动态**：治疗永久性地改变疾病机制并改变长期均衡[15]。因此，目标不仅仅是控制状态轨迹，而是塑造**系统状态分布**随时间的演化。因此，通过采取的行动，目标是使系统朝着期望的偏好点改变，同时沿途保持状态处于期望的分布，所有这些都受限于测量预算。在本文中††本文的扩展版本包含额外的证明、推导和补充材料，可在arXiv上以相同标题获取。我们首先将一般的肿瘤治疗环境形式化为一个受约束的部分可观测马尔可夫决策过程（POMDP），其中行动驱动潜在患者变量上的信念状态演化。治疗和测量行动通过预测后验引起信念的受控演化，而性能通过结果信念分布与临床偏好分布的接近程度来评估。对累积或瞬时测量的约束强制了信息获取的预算。精确求解此POMDP需要在未知、高维的转移和观测模型下进行信念状态规划，且受限于决策依赖的缺失数据，这在有限临床数据下是难以处理的。为了解决复杂性，我们采用**自由能原理**[5, 3]及其通过**主动推理**[17]的操作化实现。主动推理将信念更新重新表述为变分推断，将行动选择重新表述为期望自由能的最小化。为此，它创建了一个信息论泛函，分解为对应于目标对齐（风险）、观测不确定性（歧义）和信息增益（认知价值）的项。这一公式为信念空间规划提供了可处理的近似，自然地平衡了利用和探索，而无需明确的奖励工程或启发式探索策略。它直接在信念分布上操作，使其非常适合部分可观测性和测量约束下的分布控制。我们使用来自AACR（美国癌症研究协会）Project GENIE（基因组证据肿瘤信息交换）生物制药协作的数据集来支撑我们的建模和评估[21]，这是一个大规模的临床基因组数据集，将基因组图谱与不同癌症类型的治疗历史、结果和临床注释联系起来。GENIE捕获了肿瘤决策制定固有的关键挑战，包括显著的患者异质性、稀疏和不规则的测量以及决策依赖的缺失数据，使其非常适合在有限反馈下研究个性化治疗。我们的框架不是将临床和基因组变量视为静态协变量，而是序贯地整合GENIE数据。基因组和人口学特征为潜在患者类别和先验信念提供信息，而观察到的治疗和临床事件通过变分推断更新关于疾病状态的后验信念。由于高保真测量（如分子谱分析或高级影像）只能间歇性地获得，我们的基于信念的公式自然地适应了测量约束和不确定性。通过在演化状态分布层面而非逐点动态层面进行操作，所提出的方法与肿瘤学数据的结构相一致，并在临床数据驱动的模拟中展示了**预期寿命的显著增加**。本文的贡献如下：
- 我们将癌症治疗形式化为一个具有可塑动态的受约束分布POMDP，强调信念演化而非逐点状态控制。
- 我们开发了一个主动推理框架，通过变分推断和测量预算下的期望自由能最小化来近似信念空间规划。
- 我们开发了一个数据驱动的期望自由能框架实例化，该框架与真实世界临床基因组数据的结构和局限性明确对齐，从而能够在稀疏、异质和决策依赖的观测下进行稳定的推断和决策。
- 我们使用真实临床数据展示了所提出框架的实践有效性，通过基于主动推理的个性化治疗策略展示了明确的预期寿命延长。

## 相关工作

情境赌博机（CB）由于能够将患者特征（情境）映射到治疗（行动）并具有强后悔保证，已成为个性化医疗的主导范式[12][1]。然而，这种建模选择本质上是短视的，奖励是即时的且与当前决策相关。每个治疗决策基于即时结果进行评估，没有正式机制来考虑当前干预如何重塑未来状态分布或影响在显著延迟后显现的结果。标准的情境赌博机公式抽象了依赖于行动的状态动态，因此无法表示干预如何重塑未来状态分布。这对于肿瘤学和慢性病管理来说是结构性的不匹配，因为干预会改变未来状态分布。通过忽略动态，CB未能考虑当前决策的成本或收益的非弹性性质。

马尔可夫决策过程（MDP）中的强化学习通过受控状态转移和折扣累积回报显式建模长期后果，使其成为比情境赌博机更合适的序贯治疗规划抽象。深度强化学习在广泛环境交互可行的环境中取得了重大经验成功，例如基于价值的方法如DQN[14]。最近的回顾性深度强化学习研究继续在重症监护（例如，脓毒症）中报告有希望的策略，但也加剧了对离线学习安全保证的担忧[23]。在癌症治疗中，我们需要纳入额外约束，例如（i）临床奖励（如肿瘤缩小）是稀疏且延迟的，（ii）观察是昂贵的且可能具有侵入性（实验室检查、影像、活检）。此外，由于安全和伦理约束，探索性策略不可接受。先前的工作[24]强调了这些差距，并强调部分可观测性、非平稳性以及可靠的离线策略评估[7]是医疗领域强化学习的核心挑战。当疾病状态是潜在的且仅间接测量时，自然的抽象是POMDP，其中决策基于从噪声、间歇性观测更新的信念状态。在许多临床环境中，“何时观察”本身就是一个决策；观测成本公式通过将成本附加到测量并约束测量之间的自适应来明确这一点[18]。类似地，预算约束的乳腺癌筛查策略和前列腺癌监测分别在[6]和[13]中进行了研究。然而，保持准确的信念并在信念空间中进行规划在计算上是昂贵的，这激发了可扩展的近似求解器，如基于点的方法（PBVI[16]，SARSOP[10]）和基于采样的在线前瞻结合粒子信念和情景树（POMCP[19]，DESPOT[20]）。一些筛查策略工作则使用马尔可夫模型结合混合整数线性规划优化来避免直接的大规模MDP/POMDP求解[2]。

除了POMDP求解器之外，**控制即推断**和KL正则化控制公式将决策制定解释为对轨迹的推断，将行动视为转移动力学的结构化修改，这与转移核“调谐”紧密对齐[11, 22, 8]。尽管在POMDP空间的可扩展基于学习的近似方面取得了实质性进展，但在有限观测预算下优化信念空间仍然探索不足。在肿瘤学中，观测是稀疏的、依赖于决策的，并且由于潜在类别异质性（如患者亚型），行动可能不规则地影响患者状态和疾病动态。实际上，关于肿瘤进展的临床结果形成了数学模型，这些模型强调了此类异质性，从而需要潜在类别变量来捕获疾病动态中未观察到的变异[15]。此外，从电子健康记录轨迹评估疾病演化的预测后验分布极为复杂，即使在不规则监测和有限测量预算下也是如此。因此，我们超越了精确贝叶斯信念更新和最优POMDP规划，转向通过自由能原理的系统信息论框架进行控制即推断。使用主动推理，我们联合选择测量和干预，以平衡向期望临床结果的进展和潜在类别异质性下的昂贵观测。

## 模型与问题

我们考虑一个部分观测的受控动力系统，以潜在变量 \(C\in\mathcal{C}=\{1,\dots,d\}\) 索引。该变量表示潜在的**患者类别**，捕获粗略的患者异质性，代表直接可观测的属性（如年龄或体重），以及可通过明确测试和测量推断的属性（如生物学亚型或遗传标记）。我们假设（可能多变量的）潜在的**患者状态** \(X_k\in\mathcal{X}=\{1,\dots,n\}\) 根据离散马尔可夫链在治疗阶段（索引 \(k=0,1,\ldots\)）上演化。在每个阶段，临床医生可以选择通过一个二值（或离散）的**测量选择器** \(M_k\in\{0,1\}\)（例如，影像 vs. 无影像）获取信息，并实施一个**治疗行动** \(T_k\)。治疗行动通过以下方式修改系统的转移动力学：

\[
P_{k+1|C} = (1-\alpha_{k|C})P_{k|C} + \alpha_{k|C}T_k \tag{1}
\]

其中 \(\alpha_{k|C}\in[0,1]\) 控制调谐速率，序列 \(\alpha=(\alpha_1,\dots,\alpha_d)\) 是已知的类别特定参数。这捕获了肿瘤干预如何诱导可塑动态：治疗永久性地重塑疾病进展，而不仅仅是影响当前状态。我们将决策变量收集为复合行动：

\[
A_k \triangleq (M_{k+1},\, T_k) \in \mathcal{A}. \tag{2}
\]

对于可用集合 \(\mathcal{A}\) 中的行动。状态观测是间歇性的，并由观测变量控制：\(Y_k = M_k X_k\)，其中 \(M_k\) 是状态 \(X_k\) 的直接（或噪声）测量的指示符。见图1说明。

图1：有限测量下的患者动态。患者类别 \(C\) 和状态 \(X_k\) 在行动 \(A_k\) 下演化；观测 \(Y_k\) 通过测量决策（例如，影像）获得。

系统以从临床数据中提取的类别特定状态分布 \(p(X_0|C)\) 和基线转移矩阵 \(P_{0|C}\) 初始化。系统的演化如图1所示。关联的生成式因子分解可总结为：

\[
p_C(x_{k+1}, y_k, a_k | x_k) = p_C(x_{k+1} | x_k, a_k) p(a_k | y_k) p(y_k | x_k)
\]