安全自适应的云修复：使用神经符号世界模型验证LLM生成的恢复计划

# 使用神经符号世界模型验证LLM生成的恢复计划
来源：https://arxiv.org/html/2607.01595
## 安全且自适应的云修复：使用神经符号世界模型验证LLM生成的恢复计划

Junyan Tan，浙江大学计算机科学与技术学院  
Haoran Lin，浙江大学计算机科学与技术学院  
Siyuan Guo，浙江大学计算机科学与技术学院  
Yichen Fang，浙江大学计算机科学与技术学院  
Xinyue Luo，浙江大学计算机科学与技术学院  
Tianyu Shen，浙江大学计算机科学与技术学院  
Zeyu Qiao，浙江大学计算机科学与技术学院  

###### 摘要

随着基于云的AI系统的规模和复杂性持续增长，通过快速故障检测和自适应恢复来确保服务可靠性已成为一项关键挑战。现有方法虽然集成了大型语言模型（LLMs）进行语义理解，以及深度强化学习（DRL）进行策略优化，但它们往往依赖于顺序、松散耦合的架构，未能充分利用LLMs的生成和推理能力。本文提出一种范式转变，即PASE（规划感知语义自愈引擎），这是一种新颖的故障自愈框架，将恢复重新概念化为神经符号程序合成任务。PASE将LLM用作核心计划合成引擎，从语义原语库中生成结构化的恢复计划。神经符号世界模型通过模拟验证计划的可行性，而通过DRL训练的元提示优化器则学习生成最优提示，以引导LLM的规划过程。这种紧密的“推理-规划-验证-适应”循环能够在预定义动作空间之外生成动态、上下文感知的恢复策略。在真实云故障注入数据集上的实验表明，PASE显著优于最先进的方法，将平均系统恢复时间减少超过40%，并在未知故障场景中提高了故障检测准确性。我们的框架通过将基于LLM的推理与模型辅助验证及元学习指导相结合，推动了自主系统管理的发展。

参见图注：图1：动机。从无验证的状态到动作选择（延迟、高风险的恢复）转变为规划-验证-适应：PASE使用LLM规划器合成恢复计划，通过神经符号世界模型筛选这些计划，并通过基于DRL的元提示适应改进规划。

## 1 引言

现代基于云的AI系统支持从在线推理到大规模分布式数据处理等一系列关键任务服务，即使是短暂的中断也可能导致严重的服务降级和经济损失[18 (https://arxiv.org/html/2607.01595#bib.bib1),36 (https://arxiv.org/html/2607.01595#bib.bib53)]。在实践中，这些系统越来越多地构建在微服务之上，其可靠性依赖于异构组件（例如，容器编排器、推理加速器、缓存和负载均衡器），这些组件在实现上松散耦合，但在执行上紧密依赖[32 (https://arxiv.org/html/2607.01595#bib.bib2),35 (https://arxiv.org/html/2607.01595#bib.bib56)]。因此，局部异常可能通过依赖链传播并引发级联故障，使得实时故障管理特别具有挑战性[25 (https://arxiv.org/html/2607.01595#bib.bib3),34 (https://arxiv.org/html/2607.01595#bib.bib55)]。尽管付出了大量努力，但在生产规模环境中准确捕获这种图状依赖关系及其时变交互仍然是一个未解决的问题[8 (https://arxiv.org/html/2607.01595#bib.bib36),19 (https://arxiv.org/html/2607.01595#bib.bib37),26 (https://arxiv.org/html/2607.01595#bib.bib54)]。

因此，快速可靠的恢复成为保持这些服务可用性和控制运营成本的核心要求[6 (https://arxiv.org/html/2607.01595#bib.bib21)]。然而，云AI系统中的故障空间不仅大且异构：症状分布在日志、指标和告警中，从观察到根本原因的映射通常是非双射且上下文相关的[16 (https://arxiv.org/html/2607.01595#bib.bib20),12 (https://arxiv.org/html/2607.01595#bib.bib38)]。例如，内存泄漏可能表现为CPU使用率升高、请求超时或垃圾回收行为异常，具体取决于工作负载和资源争用[1 (https://arxiv.org/html/2607.01595#bib.bib4)]。传统的基于规则的方法通常依赖静态阈值或关键词模式来触发预定义脚本；虽然简单高效，但往往无法泛化到不断变化的部署和未见过的故障模式[31 (https://arxiv.org/html/2607.01595#bib.bib5)]。基于模型的技术（例如，贝叶斯网络或Petri网变体）试图显式编码系统动态，但随着系统增长和随时间变化，其准确性和维护成本变得难以承受[14 (https://arxiv.org/html/2607.01595#bib.bib6)]。

最近，将大型语言模型（LLMs）与深度强化学习（DRL）相结合，作为实现更自适应故障管理的潜在途径引起了关注：LLMs提供对非结构化可观测信号的语义抽象，而DRL可以通过交互优化决策。尽管如此，大多数现有的混合方法仍然是顺序且松散耦合的——LLM主要用作状态解释器，而DRL代理作为下游策略，从预定义（通常是分层）的动作空间中选择动作[11 (https://arxiv.org/html/2607.01595#bib.bib35)]。这种设计有两个实际局限性。首先，它未能充分利用LLM作为能够组合多步策略的主动规划器。其次，没有专门的执行前验证阶段，系统可能会执行脆弱或不一致的恢复动作，特别是在新颖的故障条件下。

为了解决这些问题，我们提出PASE（规划感知语义自愈引擎），这是一个以规划为中心的自主故障恢复框架。PASE将恢复组织成一个集成规划、验证和适应的闭环。具体来说，（i）LLM作为核心计划合成引擎，通过组合语义原语生成结构化的恢复计划；（ii）神经符号世界模型在执行前通过轻量级模拟评估候选计划的可行性；（iii）基于DRL的元提示优化器学习提示嵌入，以随着环境变化引导LLM生成更高质量的计划。整体工作流程如图1 (https://arxiv.org/html/2607.01595#S0.F1)所示。

本文的主要贡献总结如下：

- • 我们将云故障恢复公式化为神经符号程序合成问题，并提出PASE，将决策单元从单步动作选择转变为多步计划生成。
- • 我们设计了一个经过验证的规划循环，将基于LLM的计划合成器与用于可行性筛查的神经符号世界模型相结合，在执行恢复动作之前提高了可靠性。
- • 我们引入了一个基于DRL的元提示优化器，在连续嵌入空间中自适应提示，实现对以前未见过的故障类型更高效的在线适应，并在真实云故障注入数据集上验证了该方法。

## 2 相关工作

### 2.1 AI用于自愈系统

追求自主自愈系统已经利用各种AI技术来增强容错能力并减少人工干预。Karamthulla等人[15 (https://arxiv.org/html/2607.01595#bib.bib7)]对机器学习和神经网络在自愈机制中的应用进行了全面分析，强调了可扩展性、适应性和鲁棒性方面的持续挑战。Vemula[28 (https://arxiv.org/html/2607.01595#bib.bib8)]探索了AI增强的云架构，该架构集成了实时异常检测、诊断和修复，以确保数据完整性和运营效率。这些工作强调了从被动反应到主动和自适应系统管理的转变。[37 (https://arxiv.org/html/2607.01595#bib.bib13),4 (https://arxiv.org/html/2607.01595#bib.bib14),3 (https://arxiv.org/html/2607.01595#bib.bib15),33 (https://arxiv.org/html/2607.01595#bib.bib16),39 (https://arxiv.org/html/2607.01595#bib.bib17),10 (https://arxiv.org/html/2607.01595#bib.bib18)]

### 2.2 机器学习用于故障检测和恢复

机器学习，特别是深度学习，已被广泛用于故障检测和预测。Pentyala[24 (https://arxiv.org/html/2607.01595#bib.bib11)]提出了一个AI框架，采用ML/DL模型分析系统遥测，以进行实时异常识别和自动修复。类似地，Li等人[17 (https://arxiv.org/html/2607.01595#bib.bib12)]为云数据中心开发了自动智能修复系统（AIHS），结合了ML技术进行可扩展的故障检测和修复。Nama等人[23 (https://arxiv.org/html/2607.01595#bib.bib9)]展示了AI在增强软件测试和故障预测准确性方面的作用。然而，这些方法通常将检测和恢复视为独立任务，并且依赖大量标注数据进行训练。

### 2.3 LLMs与DRL在自主系统中的集成

LLMs与DRL的融合代表了构建更通用、更具推理能力的自主系统的前沿领域。先前的工作利用LLMs进行系统状态的语义解释，并利用DRL优化恢复策略[11 (https://arxiv.org/html/2607.01595#bib.bib35)]。Feng等人[7 (https://arxiv.org/html/2607.01595#bib.bib10)]将多智能体系统（MAS）与AI算法相结合，用于关键基础设施中的故障诊断和恢复，展示了协作AI智能体的潜力。然而，这些集成通常保持模块化分离，LLM的输出是DRL智能体的静态编码，限制了LLM在战略规划中的积极参与以及系统生成新颖动作序列的能力。

### 2.4 神经符号AI与程序合成

神经符号AI结合了神经网络与符号推理，为复杂的决策任务提供了有前景的方向。最近的工作探索了使用LLMs在不同领域进行程序合成和规划[9 (https://arxiv.org/html/2607.01595#bib.bib39)]。用于计划验证的世界模型概念源于基于模型的强化学习和符号推理传统。我们的PASE框架通过将神经符号程序合成专门应用于云故障恢复领域，集成了基于LLM的规划器、学习到的世界模型和元优化循环，为这一研究方向做出了贡献。

与现有工作相比，PASE超越了将LLMs用作被动编码器或DRL仅作为策略选择器的做法。相反，它将LLM定位为核心规划引擎，主动生成结构化的恢复程序，而DRL则对规划过程本身进行元优化。这创建了一个更紧密集成、自适应和生成性的自愈架构。

## 3 方法

我们提出规划感知语义自愈引擎（PASE），这是一种从顺序感知然后动作管道的范式转变。PASE将故障恢复重新概念化为神经符号程序合成问题，其中大型语言模型（LLM）充当规划器，学习到的世界模型充当验证器，深度强化学习（DRL）智能体对规划过程本身进行元优化。这创建了一个紧密的“推理-规划-验证-适应”循环。

### 3.1 统一语义观测与计划合成

令时刻 $t$ 的原始异构系统观测为 $O_t = \{L_t, M_t, A_t\}$，分别表示日志片段、指标时间序列和告警向量。与先前将 $O_t$ 编码为固定维度状态向量的方法不同，PASE 首先使用带有固定模板提示 $P_{\text{desc}}$ 的 LLM 将其映射为结构化的语义场景描述 $D_t$：

$$D_t = \text{LLM}(P_{\text{desc}}; O_t),$$  
(1)

其中 $D_t$ 是一段自然语言段落，总结了故障症状、受影响组件和系统拓扑上下文。这保留了在向量化中经常丢失的关系和因果信息。

PASE 的核心是计划合成引擎（PSE），它是一个 LLM，任务是直接从 $D_t$ 和恢复原语库 $\mathcal{R}$ 生成恢复计划 $\Pi_t$。每个原语 $r \in \mathcal{R}$ 是一个可参数化的原子动作，带有语义签名（例如，`Restart(service_id)`，`ScaleOut(resource_type, count)`，`Reroute(traffic, from, to)`）。PSE 在元提示 $P_t^{\text{plan}}$ 下运行，该提示结构化了规划任务：

$$\Pi_t = \text{PSE}(D_t, \mathcal{R}; P_t^{\text{plan}}) = \text{LLM}(P_t^{\text{plan}}(D_t, \mathcal{R})).$$  
(2)

输出 $\Pi_t$ 是原语的结构化列表或图 $ (r_{\theta_1}^{(1)}, r_{\theta_2}^{(2)}, ...) $，其中 $\theta_i$ 是实例化参数。这种方法绕过了严格的层次化动作空间，使得能够动态生成针对特定故障上下文定制的新颖多步恢复过程。

### 3.2 用于计划验证的神经符号世界模型

为了解决 LLM 生成计划的幻觉和不一致风险，PASE 引入了神经符号世界模型（NSWM）。NSWM 在恢复原语级别学习云系统的随机动态。令 $s_t$ 为潜在系统状态。当应用原语 $r_\theta$ 时，NSWM 预测状态转换以及关键健康指标 $\Delta \mathbf{H}$ 的预期变化：

$$\hat{s}_{t+1}, \widehat{\Delta \mathbf{H}} = \text{NSWM}(s_t, r_\theta; \phi),$$  
(3)

其中 $\phi$ 是模型参数。NSWM 在历史交互数据上训练，以最小化 $\Delta \mathbf{H}$ 的预测误差。

给定候选计划 $\Pi_t = (r^{(1)}, r^{(2)}, ..., r^{(K)})$，NSWM 执行展开模拟：

$$(\hat{s}_{t+k}, \widehat{\Delta \mathbf{H}}_{t+k})_{k=1}^K = \text{Rollout}_{\text{NSWM}}(s_t, \Pi_t).$$  
(4)

模拟轨迹产生计划可行性得分 $F(\Pi_t)$，定义为预测资源违反风险和计划执行后预期残留故障严重性的负加权和：

$$F(\Pi_t) = -\mathbb{E}_{\text{rollout}} \left[ \lambda_1 \cdot \text{Risk}(\hat{s}_{t+K}) + \lambda_2 \cdot \text{Severity}(\widehat{\Delta \mathbf{H}}_{t+K}) \right].$$  
(5)

该得分提供了对 LLM 提出的计划在执行任何实际（且可能代价高昂的）操作之前的一种计算高效、基于模型的评判。

### 3.3 通过强化学习进行元提示优化