LLM增强的多智能体强化学习用于公共充电系统中统一的电动汽车-充电站-电网优化

# 基于大型语言模型增强的多智能体强化学习：公共充电系统中电动汽车-充电站-电网的统一优化
来源：https://arxiv.org/html/2609.13805

谢林东，王崇宇，李高骏，卜思琪，以及 Edward Chung†† 感谢：本工作部分由创新及科技基金-内地-香港联合资助计划资助，资助号 MHP/038/23。†† 感谢：（通讯作者：Edward Chung。）张阳、谢林东、李高骏、卜思琪和 Edward Chung 隶属于香港理工大学电机及电子工程学系，中国香港（电子邮箱：[email protected]; [email protected]; [email protected]; [email protected]; [email protected]）。†† 感谢：王崇宇隶属于美国伊利诺伊理工大学加尔文电力创新中心，美国伊利诺伊州芝加哥，邮编 60616（电子邮箱：[email protected]）。

#### 摘要
在物联网（IoT）时代，协调联网电动汽车（EV）的充电调度以平衡电动汽车充电满意度、充电站盈利性和智能电网稳定性，提出了一个复杂的多目标挑战。现有的多智能体强化学习（MARL）方法往往难以应对海量物联网传感数据产生的高维状态空间以及相互冲突的利益相关者目标。本文提出了一种新颖的大型语言模型（LLM）增强的MARL框架，首次在一个统一的循环中同时优化电网、电动汽车和充电站。通过集成大型语言模型（LLM），我们解决了两个关键瓶颈：可解释的特征选择和自适应的多目标平衡。LLM分析实时物联网收集的环境状态，提取具有物理意义的特征，并利用语义推理（而非复杂的手动调参）动态分配冲突目标（包括利润、用户满意度和电网负荷）的权重。大量实验表明，我们的框架显著优于最先进的基线方法，在实现卓越市场效率的同时，将训练时间缩短了超过70%。该方法为高效、可持续的物联网赋能城市充电基础设施管理提供了一个可扩展、透明的解决方案。

#### 关键词
大型语言模型，多智能体强化学习，特征选择，多目标优化，电动汽车充电

## I 引言
得益于其环境效益和物联网（IoT）技术的快速发展，联网电动汽车（EV）在过去十年中在全球范围内经历了前所未有的普及\[1 (https://arxiv.org/html/2609.13805#bib.bib1), 2 (https://arxiv.org/html/2609.13805#bib.bib2)\]。仅在美国，2023年新增电动汽车注册量就激增了40%，达到140万辆\[3 (https://arxiv.org/html/2609.13805#bib.bib3)\]，而公共充电站数量仅增长了20%，达到64,187个\[4 (https://arxiv.org/html/2609.13805#bib.bib4)\]。这种快速普及的电动汽车与相对缓慢扩张的公共充电基础设施之间日益扩大的差距，在物联网赋能的智慧城市场景中带来了关键挑战，例如满足不断增长的充电需求、减少充电排队担忧、确保充电运营的经济可行性以及防止电网过载。为应对这些挑战，依靠无处不在的物联网连接制定有效的充电调度策略至关重要，这包括动态充电站定价、电网负荷平衡以及实时管理电动汽车充电功率，从而在复杂的物联网生态系统中维持充电市场经济性、负荷安全性和用户满意度。

传统的电动汽车充电调度方法通常依赖于精确优化算法，通过非线性规划或混合整数线性规划模型来表述问题\[5 (https://arxiv.org/html/2609.13805#bib.bib5), 6 (https://arxiv.org/html/2609.13805#bib.bib6), 7 (https://arxiv.org/html/2609.13805#bib.bib7), 8 (https://arxiv.org/html/2609.13805#bib.bib8)\]。尽管这些方法在理想化条件下表现良好，但它们严重依赖于对充电环境的精确数学建模，这一要求在动态、现实世界的场景中很难满足\[9 (https://arxiv.org/html/2609.13805#bib.bib17)\]。

强化学习（RL）作为一种有前景的替代方案应运而生，它通过“试错”交互范式消除了显式环境建模的需求，智能体直接从与环境的交互经验中学习最优策略。在电动汽车充电背景下，三个关键运营方面——即充电站定价、电动汽车功率分配和电网电力传输——都可以被建模为马尔可夫决策过程（MDP）。各种RL算法，包括深度确定性策略梯度（DDPG）\[10 (https://arxiv.org/html/2609.13805#bib.bib31), 11 (https://arxiv.org/html/2609.13805#bib.bib9)\]、深度Q网络（DQN）\[12 (https://arxiv.org/html/2609.13805#bib.bib11)\]、近端策略优化（PPO）\[13 (https://arxiv.org/html/2609.13805#bib.bib12)\]和软演员-评论家（SAC）\[14 (https://arxiv.org/html/2609.13805#bib.bib13)\]，在优化单一方面上都已取得成功。对于涉及多个利益相关者的更复杂场景，多智能体强化学习（MARL）算法，如多智能体DDPG（MADDPG）\[15 (https://arxiv.org/html/2609.13805#bib.bib14), 16 (https://arxiv.org/html/2609.13805#bib.bib15)\]、多智能体PPO（MAPPO）\[17 (https://arxiv.org/html/2609.13805#bib.bib16)\]和反事实多智能体策略梯度（COMA）\[18 (https://arxiv.org/html/2609.13805#bib.bib38)\]，在处理复杂的智能体交互方面表现出了有效性。

尽管取得了这些进展，最近的一项综述\[9 (https://arxiv.org/html/2609.13805#bib.bib17)\]揭示了一个关键差距：现有的基于RL的研究通常只优化涉及三个主要运营维度的电动汽车充电市场中的一个或两个方面。具体来说，在111篇关于基于RL的电动汽车充电调度的论文中，没有一篇同时整合电动汽车用户、充电站和电网的视角。这种有限的视角可能导致次优甚至适得其反的结果。例如，仅关注电动汽车用户满意度和充电站收入的优化策略可能会无意中在高峰需求期间加剧电网负荷压力，从而危及电力系统安全。因此，一个整合所有三个视角的综合方法对于平衡这些相互关联的因素至关重要，使其能够自适应地响应实时电网条件、动态定价策略和不断变化的用户需求，同时确保系统范围内的效率。

本文旨在通过将电动汽车用户、充电站和电网三个视角整合到一个基于MARL的统一框架中来弥补上述差距。为此，我们确定了两个根本性挑战。第一，统一框架包含一个广泛的状态空间；即使是一个拥有20个充电桩的单个充电站场景也可能涉及超过100个状态特征，因此在部署RL之前需要进行高效的特征选择。第二，整合多个视角不可避免地会产生相互冲突的利益相关者目标（例如，电动汽车用户寻求最小化经济成本，而充电站则旨在最大化利润），这要求精心设计平衡的奖励函数。传统方法通常采用统计方法进行特征选择\[19 (https://arxiv.org/html/2609.13805#bib.bib23), 20 (https://arxiv.org/html/2609.13805#bib.bib25), 21 (https://arxiv.org/html/2609.13805#bib.bib26)\]，并使用多目标强化学习（MORL）来平衡冲突目标\[22 (https://arxiv.org/html/2609.13805#bib.bib27), 23 (https://arxiv.org/html/2609.13805#bib.bib50), 24 (https://arxiv.org/html/2609.13805#bib.bib28)\]。不幸的是，三个问题可能阻碍它们在统一的电动汽车充电市场中的适用性：1）复杂性：传统的MORL方法在寻求冲突目标之间的最佳权衡时通常会产生高昂的计算成本，通常需要复杂的机制来近似或管理帕累托前沿。此外，基于统计方法的特征选择需要大量的参数调整和密集的计算。这种复杂性严重阻碍了实际电动汽车市场所需的快速部署和实时运行。2）缺乏可解释性：即使得出了最佳特征和平衡权重，这些方法通常也无法为其决策提供清晰、直观的解释，而这些解释对于市场参与者理解调度决策背后的运营逻辑至关重要。3）不适应性：大多数MORL算法难以动态调整权重以响应实时市场条件，或者通常仅限于平衡两个目标，无法适应统一电动汽车充电市场中的三个不同利益相关者角色。

大型语言模型（LLM）的最新进展为这些挑战提供了一个有前景的解决方案。在大量通用和科学文献语料库上进行预训练后，LLM在理解、推理和规划方面表现出卓越的能力\[25 (https://arxiv.org/html/2609.13805#bib.bib18), 26 (https://arxiv.org/html/2609.13805#bib.bib19), 27 (https://arxiv.org/html/2609.13805#bib.bib20)\]。通过理解状态变量的物理意义和评估不同利益相关者需求的紧迫性和重要性，LLM非常适合执行有效的特征选择和权重平衡决策，以满足特定的任务需求\[28 (https://arxiv.org/html/2609.13805#bib.bib21), 29 (https://arxiv.org/html/2609.13805#bib.bib22)\]。与传统的特征选择或MORL方法相比，基于LLM的方法在统一的电动汽车充电市场中具有多项优势。首先，它们通过基于提示的任务描述和市场状态输入简化了选择特征和确定权重的过程，从而消除了对复杂平衡机制或参数调整的需求。其次，LLM以自然语言运行，为其特征选择和权重确定过程提供了透明、基于文本的解释。第三，它们实现了一种实时的多目标权重分配方法，能够无缝适应动态的环境状态\[22 (https://arxiv.org/html/2609.13805#bib.bib27), 23 (https://arxiv.org/html/2609.13805#bib.bib50), 24 (https://arxiv.org/html/2609.13805#bib.bib28)\]。

受这些优势的启发，我们提出了一种首次用于优化公共充电系统中统一的电动汽车-充电站-电网运营的LLM增强MARL方法。我们的主要贡献如下：

（1）统一的电动汽车-充电站-电网运营模型：我们提出了第一个基于MARL的统一充电调度框架，该框架利用排队论和马尔可夫博弈论整合了电动汽车、充电站和电网三个视角。对我们模型中环境状态和奖励结构的分析强调了进行有效特征选择和多目标平衡策略的必要性。

（2）基于LLM的可解释特征选择：我们利用LLM固有的上下文理解和语义推理能力，通过直观的基于文本的提示执行特征选择。通过将状态特征和特征选择任务转化为自然语言描述，我们的方法允许LLM根据其语义相关性及其对利益相关者目标的贡献来评估特征重要性，从而提供内在可解释的理由。这绕过了统计方法所需的计算密集型计算或参数调整。引入了错误检测机制以缓解潜在的幻觉问题。选择Top-K特征以显著提高下游MARL训练效率。

（3）基于LLM的自适应多目标平衡：类似地，我们利用LLM从文本描述中进行权衡推理的能力。使用实时状态描述和优化目标提示，LLM动态地为三个利益相关者视角下的冲突目标分配可解释的权重，无需传统MORL所需的复杂帕累托前沿维护，即可自主适应不断变化的市场条件。提出了错误检测机制和状态平衡识别机制，分别用于进一步确保有效性和通过减少冗余的LLM调用来优化效率。最后，构建了一个包含这些动态权重的平衡总体奖励函数，用于MARL策略学习，使智能体能够协调多利益相关者目标。

（4）增强性能与集成框架验证：我们将上述LLM模块与MADDPG集成，使得能够为统一市场高效学习高质量、平衡的调度策略。综合实验表明，我们的框架显著优于基于特征选择和基于MORL的最先进基线方法，在电动汽车用户满意度、充电站利润和电网负荷压力降低方面实现了显著优势，从而显著提高了整体市场运营效率，同时降低了策略训练成本。

## II 相关工作与所提扩展
### II-A 基于RL的电动汽车充电调度研究
基于RL的充电调度研究主要沿着三个不同的视角演进。从电动汽车视角，研究人员采用RL算法通过最小化充电经济成本、续航里程焦虑和出行时间来优化充电满意度\[11 (https://arxiv.org/html/2609.13805#bib.bib9), 30 (https://arxiv.org/html/2609.13805#bib.bib29), 31 (https://arxiv.org/html/2609.13805#bib.bib30)\]。例如，Qian等人开发了一种基于DQN的高效充电导航方法\[32 (https://arxiv.org/html/2609.13805#bib.bib34)\]。从充电站视角，研究侧重于最大化服务利润和运营效率\[33 (https://arxiv.org/html/2609.13805#bib.bib10), 12 (https://arxiv.org/html/2609.13805#bib.bib11), 34 (https://arxiv.org/html/2609.13805#bib.bib32), 35 (https://arxiv.org/html/2609.13805#bib.bib33)\]，其中Qiu等人实现了带有优先经验回放的DDPG用于最优定价的研究尤为突出\[10 (https://arxiv.org/html/2609.13805#bib.bib31)\]。关于电网管理，研究集中在减少峰值负荷\[13 (https://arxiv.org/html/2609.13805#bib.bib12), 14 (https://arxiv.org/html/2609.13805#bib.bib13), 36 (https://arxiv.org/html/2609.13805#bib.bib35), 37 (https://arxiv.org/html/2609.13805#bib.bib36)\]，Sultanuddin等人的双重DQN实现就是例证\[38 (https://arxiv.org/html/2609.13805#bib.bib37)\]。

有限的研究尝试使用MARL算法来制定电动汽车充电市场中两类利益相关者之间的协调策略。Zhang等人采用MADDPG共同优化电网电力传输和电动汽车充电决策\[15 (https://arxiv.org/html/2609.13805#bib.bib14)\]。Fu等人\[16 (https://arxiv.org/html/2609.13805#bib.bib15)\]和Yang等人\[17 (https://arxiv.org/html/2609.13805#bib.bib16)\]解决了充电站定价与电动汽车调度之间的博弈论交互，而Park等人实现了COMA和MADDPG来优化充电站购电和电动汽车充放电\[18 (https://arxiv.org/html/2609.13805#bib.bib38)\]。然而，整合所有三个视角仍然未被探索，主要由于...