基于频谱图神经网络强化学习的自愈智能电网故障检测

# 基于谱图神经网络与强化学习的自愈智能电网停电检测

来源：https://arxiv.org/html/2606.07583  
11institutetext:韦恩州立大学，底特律，密歇根州，美国  
11email:{hw6926, cwang}@wayne\.edu  
22institutetext:22email:mxs165231@utdallas\.edu

###### 摘要

自愈智能电网能够在停电期间快速调整其网络配置，以最小化电力中断。停电时可采取多种措施，例如通过开关操作进行网络重构和紧急甩负荷。然而，传统的机器学习方法由于响应速度慢、计算成本高，不太适用于智能电网的停电缓解。为应对这些挑战，近期研究探索了使用强化学习自动执行网络重构。在这些方法中，控制策略通常使用图神经网络（GNN）进行建模。但传统的GNN在空间域操作，可能无法捕捉频率域中的重要关系。频率域信息对于建模电力网络中的全局结构模式和系统范围的交互尤其有用。本文提出了一种用于配电网络停电管理的谱图强化学习框架，以增强系统韧性。我们的模型使用谱图神经网络学习最优电力恢复策略。我们在三个改进的IEEE测试系统上评估了所提方法：13节点、34节点和123节点网络。实验结果表明，我们的方法能在实时中实现接近最优的性能，并且能很好地泛化到各种停电场景。

## 1 引言

长期以来，配电网络仅仅被视为输电系统与终端用户之间的连接环节，其韧性往往被忽视。然而，近期分析[7（https://arxiv.org/html/2606.07583#bib.bib7）]表明，极端事件期间90%的客户停电是由配电网络本身的故障引起的。此外，分布式能源（DER）的日益集成已显著改变了电网的结构。这种去中心化实现了本地发电，并创建了能够独立于主网运行的自治子系统。因此，配电网络不再是被动连接，而是电力系统中活跃且可能自维持的组成部分。

因此，开发配电网络的智能化和自动化技术至关重要。如今，许多监测设备已部署在这些网络中，包括线路监测器、故障指示器、远程控制开关和重合器。智能电网最重要的特征之一是其自愈能力。这意味着系统能够自动检测故障、隔离受影响区域，并在最少人工干预下恢复供电。通过实施智能控制和自动化，电网可以减少电力中断并在干扰后更快恢复。因此，目标是设计一种自愈算法，该算法自主、响应迅速，并能实时适应变化的条件。

智能电网通常作为由独立系统运营商（ISO）管理的独立实体运行。然而，多个电网之间的协调可能具有挑战性，因为不同的ISO可能遵循不同的运行规则、通信协议和控制策略。这些差异使得跨电网操作变得复杂，尤其是在需要协调响应的大规模扰动期间。面对极端天气事件或网络物理攻击引起的电力中断，自愈配电网络（DN）必须能够通过智能控制算法自动检测故障组件、隔离它们并恢复服务。DN的恢复和恢复可以通过各种控制措施实现，包括网络重构、负荷管理、储能控制和无功资源调节。

在这些措施中，网络重构通常是第一个且最直接的响应，因为它可以通过调整开关状态快速隔离故障并为未受影响区域恢复服务。如果仅重构不足，可以应用甩负荷来维持系统稳定性并防止级联故障。控制网络开关是配电系统中最常用的策略之一，因为它支持多种运行目标，如损耗最小化、可靠性增强、负荷平衡和服务恢复。一个健壮到能应对多种停电场景的综合恢复策略必须有效协调构网型和馈网型分布式能源（DER）。它还应在运行约束下考虑所有可行的重构选项，包括辐射状要求、电压限值和线路容量限值。因此，在这项工作中，我们专注于一个集成了最优网络重构和自适应甩负荷的协调恢复框架，旨在实现配电网络在极端条件下快速、自主、有韧性的运行恢复。

配电网络通常是不平衡且辐射状的，意味着电力从变电站单向流向用户。由于非线性潮流方程，其运行已经复杂，而分布式能源（如太阳能板和储能系统）的日益集成使管理变得更加困难。停电后恢复配电网络是一个困难的优化问题。它旨在最大化供电同时满足连通性和运行约束。该问题是NP-hard、非线性和组合性的。现有解决方案包括启发式方法、元启发式算法和混合整数规划技术。随着DER的使用增加，研究人员也研究了孤岛策略，即网络部分独立于主网运行。负荷管理同样被用作紧急控制策略。然而，很少有研究同时考虑联网和孤岛重构来进行停电管理。随着可控设备数量（如开关、负荷和DER运行模式）的增加，问题变得更加复杂。虽然更多远程可控设备能实现更大的自动化，但它们也显著增加了计算复杂性。

为解决这些限制，我们提出了一个基于强化学习的模型，为停电管理提供自适应、实时的决策支持。强化学习（RL）最近被广泛应用于需要自动和智能控制的电力系统应用中。RL特别适合解决复杂、高维和组合优化问题。它还能快速做出决策，这在停电期间响应速度至关重要时非常重要。传统优化方法通常太慢，不适合实时决策。深度强化学习（DRL）已越来越多地应用于主动配电网络的电压控制。例如，一些研究使用DRL控制DER逆变器和静态无功补偿器以维持稳定电压水平。其他工作将分布式储能设备视为独立智能体，并应用多智能体DRL进行电压调节，使系统能适应拓扑变化。多智能体DRL也被用于最优调度DER、储能系统和柔性负荷。在这些情况下，每个逆变器或储能设备可以充当单个智能体，这与其分布式控制结构相匹配。

在我们的模型中，我们将配电网络视为一个图。节点代表变电站、负荷或分布式能源（DER），边代表连接它们的电力线路或变压器。每个节点和边都有测量值，如电压、电流或功率需求，这些测量值以复杂方式相互连接。在停电期间，我们经常需要通过开启或关闭线路来重新配置网络。这很困难，因为有许多可能的组合，并且改变一部分会影响网络的其余部分。为了处理这个问题，我们使用图强化学习（GRL），它能够实时控制网络连接和负荷。我们使用谱图神经网络而不是标准GNN。这种网络更好，因为它能够捕捉网络的局部连接和全局结构，包括频率域关系。这提供了更丰富和更准确的网络表示，有助于模型做出更好的决策。我们在多个电力网络上测试了我们的谱GRL模型，它能够实时控制系统，实现接近最优的性能。这使得它对于构建能快速从故障中恢复的自愈电力网络非常有效。

## 2 相关工作

#### 2\.0\.1 基于优化的方法

早期的配电网络恢复方法将问题表述为混合整数规划，包括MILP[1（https://arxiv.org/html/2606.07583#bib.bib1），4（https://arxiv.org/html/2606.07583#bib.bib4），55（https://arxiv.org/html/2606.07583#bib.bib55）]和MISOCP[48（https://arxiv.org/html/2606.07583#bib.bib48），46（https://arxiv.org/html/2606.07583#bib.bib46），52（https://arxiv.org/html/2606.07583#bib.bib52）]，这些方法保证最优性但计算代价高，不适合实时部署。启发式和元启发式方法如BPSO[41（https://arxiv.org/html/2606.07583#bib.bib41），40（https://arxiv.org/html/2606.07583#bib.bib40），39（https://arxiv.org/html/2606.07583#bib.bib39）]减少了求解时间，但可能收敛到次优解，并且缺乏对动态网络条件的适应性。

#### 2\.0\.2 基于GNN的方法

图学习已被研究了很长时间[19（https://arxiv.org/html/2606.07583#bib.bib19），18（https://arxiv.org/html/2606.07583#bib.bib18），17（https://arxiv.org/html/2606.07583#bib.bib17），20（https://arxiv.org/html/2606.07583#bib.bib20），22（https://arxiv.org/html/2606.07583#bib.bib22），38（https://arxiv.org/html/2606.07583#bib.bib38），15（https://arxiv.org/html/2606.07583#bib.bib15），26（https://arxiv.org/html/2606.07583#bib.bib26），33（https://arxiv.org/html/2606.07583#bib.bib33），23（https://arxiv.org/html/2606.07583#bib.bib23），32（https://arxiv.org/html/2606.07583#bib.bib32），21（https://arxiv.org/html/2606.07583#bib.bib21），34（https://arxiv.org/html/2606.07583#bib.bib34），35（https://arxiv.org/html/2606.07583#bib.bib35），12（https://arxiv.org/html/2606.07583#bib.bib12），11（https://arxiv.org/html/2606.07583#bib.bib11），16（https://arxiv.org/html/2606.07583#bib.bib16），10（https://arxiv.org/html/2606.07583#bib.bib10），30（https://arxiv.org/html/2606.07583#bib.bib30），25（https://arxiv.org/html/2606.07583#bib.bib25），28（https://arxiv.org/html/2606.07583#bib.bib28），24（https://arxiv.org/html/2606.07583#bib.bib24），29（https://arxiv.org/html/2606.07583#bib.bib29），27（https://arxiv.org/html/2606.07583#bib.bib27），31（https://arxiv.org/html/2606.07583#bib.bib31），36（https://arxiv.org/html/2606.07583#bib.bib36），37（https://arxiv.org/html/2606.07583#bib.bib37），14（https://arxiv.org/html/2606.07583#bib.bib14），47（https://arxiv.org/html/2606.07583#bib.bib47），13（https://arxiv.org/html/2606.07583#bib.bib13）]。图神经网络通过邻域聚合捕捉关系结构，已应用于电力系统控制。CompGCN风格的编码器[45（https://arxiv.org/html/2606.07583#bib.bib45），43（https://arxiv.org/html/2606.07583#bib.bib43），2（https://arxiv.org/html/2606.07583#bib.bib2），51（https://arxiv.org/html/2606.07583#bib.bib51）]及其变体利用边类型信息实现拓扑感知表示。然而，标准GNN依赖局部消息传递，无法捕捉全局网络结构，这对于配电网络至关重要，因为切换一条线路会影响整个馈线的电压分布。谱GNN方法通过在图拉普拉斯的频率域中操作来处理这一问题，同时编码局部和长距离依赖关系[3（https://arxiv.org/html/2606.07583#bib.bib3），8（https://arxiv.org/html/2606.07583#bib.bib8），49（https://arxiv.org/html/2606.07583#bib.bib49），54（https://arxiv.org/html/2606.07583#bib.bib54）]。

#### 2\.0\.3 基于强化学习的方法

RL已被越来越多地应用于配电网络重构和电压控制。DQN和PPO-based智能体已被用于学习开关策略[9（https://arxiv.org/html/2606.07583#bib.bib9），53（https://arxiv.org/html/2606.07583#bib.bib53）]和DER调度策略[44（https://arxiv.org/html/2606.07583#bib.bib44），5（https://arxiv.org/html/2606.07583#bib.bib5），6（https://arxiv.org/html/2606.07583#bib.bib6）]。多智能体RL将其扩展到逆变器和储能设备的分布式控制。然而，大多数RL方法使用基于MLP的编码器，忽略了图拓扑，导致约束违反和跨网络规模的泛化能力差。

#### 2\.0\.4 电力系统的图强化学习

将GNN与RL结合实现了拓扑感知的决策。GCAPS-GNN[7（https://arxiv.org/html/2606.07583#bib.bib7），50（https://arxiv.org/html/2606.07583#bib.bib50）]在PPO框架内应用了基于胶囊的图卷积进行停电管理，显示出比MLP基线更好的可行性。然而，GCAPS依赖空间聚合，没有利用网络图的谱结构。我们的方法在RL策略中采用了谱图滤波，捕捉全局频率域拓扑，以支持不同规模网络的可扩展、实时恢复。

## 3 方法论

### 3\.1 DN的图表示

使用开关控制的配电网络（DN）停电管理在很大程度上可以看作是学习相关网络拓扑的任务，这促使我们以图论术语重新表述问题。因此，我们将DN表示为一个图G=(N,E)，其中N是由一组边E相互连接的节点集合。图中的节点代表DN中的母线，包括变电站、负荷、DER和零功率注入母线。边代表配电线路和内置变压器，包括可开关（分段和联络）和不可开关线路。

节点变量包括预测或估计的变量以及测量变量。这些包括有功功率需求（或发电）、无功功率需求（或发电）的估计或预测值，以及每条母线上测量的三相电压。考虑的边变量是通过支路测量的功率流。为了获得这些测量信号，我们在我们的合成方法中使用了一个潮流模拟器。图域中的网络重构本质上是确定DN中可开关边的状态（断开或闭合）。在初级DN级别的紧急甩负荷通过一个与代表可开关负荷的节点相关联的二进制变量来指示。

### 3\.2 图上的马尔可夫决策过程

DN停电期间的应急响应被表述为图域中的马尔可夫决策过程（MDP），记为M=(S,A,P_tr,R)。这里，S表示状态，A表示动作，P_tr表示转移概率，R表示奖励。状态S由相关观察结果组成。