大型语言模型是否适用于图计算?进展与展望

arXiv cs.CL 论文

摘要

本综述回顾了大型语言模型在图计算中的应用,将其分为两种范式:LLM作为执行器和LLM作为规划器。研究发现,LLM在简单任务上表现良好,但在大规模精确计算方面不可靠,并提出了未来方向。

arXiv:2606.06865v1 公告类型:新 摘要:大型语言模型(LLM)在图计算中的应用日益受到探索,这类任务需要基于结构化关系和算法操作进行推理。然而,目前尚不清楚LLM何时能够可靠地支持此类计算,以及如何将它们整合到图求解流程中。现有的关于LLM和图交叉领域的综述主要关注图学习、文本属性图或图语言建模。为填补这一空白,我们通过基于角色的分类法对LLM在图计算中的应用进行了全面回顾。具体而言,我们确定了两种主要范式:i) LLM作为执行器,即模型直接从图描述和指令中解决图任务;ii) LLM作为规划器,即模型制定问题、分解推理步骤并调用外部工具或代理执行。基于此分类法,我们分析了当前方法的优势与局限性。我们的综述表明,LLM在简单、小规模任务上表现良好,但在大规模和高精度要求的任务中仍不可靠。最后,我们总结了可用的数据集并提出了四个未来方向。
查看原文
查看缓存全文

缓存时间: 2026/06/08 09:21

# 大语言模型适合图计算吗?进展与展望 来源:https://arxiv.org/html/2606.06865 Yuting Zhang¹ Yi Han¹ Kai Wang² Wei Ni³ Angela Bonifati⁴ Wenjie Zhang¹ ¹新南威尔士大学 ²上海交通大学安泰经济与管理学院 ³埃迪斯科文大学 ⁴里昂第一大学 \{yutingz, zhangw\}@cse\.unsw\.edu\.au yi\.han\.1@student\.unsw\.edu\.au w\.kai@sjtu\.edu\.cn w\.ni@ecu\.edu\.au angela\.bonifati@univ\-lyon1\.fr ###### 摘要 大语言模型(LLMs)在图计算中的应用日益受到关注——这类任务需要对结构化关系和算法操作进行推理。然而,LLM 何时能够可靠地支持此类计算,以及应如何将其融入图求解流程,目前仍不明确。现有的关于 LLM 与图交叉领域的综述主要聚焦于图学习、文本属性图或图语言建模。为填补这一空白,我们通过基于角色的分类法,全面回顾了用于图计算的 LLM。具体而言,我们识别出两大范式:i) LLM 作为执行器,模型直接从图描述和指令中求解图任务;ii) LLM 作为规划器,模型负责问题表述、推理步骤分解,并调用外部工具或智能体执行。基于此分类法,我们分析了当前方法的优势与局限。我们的综述表明,LLM 在简单、小规模任务上具有潜力,但在大规模和精确性要求高的任务上仍不可靠。最后,我们汇总了现有数据集,并提出了四个未来方向。 ## 1 引言 图在许多现实世界系统中提供了一种自然的关系表示,例如社交连接 Breuer 等人 (2020 (https://arxiv.org/html/2606.06865#bib.bib5))、蛋白质相互作用 Neyshabur 等人 (2013 (https://arxiv.org/html/2606.06865#bib.bib61)) 和论文引用 Das Gollapalli 和 Caragea (2014 (https://arxiv.org/html/2606.06865#bib.bib15))。分析此类图结构化数据通常需要图计算,即从给定图中推导出明确的结构结果或数量,例如最短路径 Dijkstra (1959 (https://arxiv.org/html/2606.06865#bib.bib16))、三角计数 Azad 等人 (2015 (https://arxiv.org/html/2606.06865#bib.bib1)) 和环查找 Qiu 等人 (2018 (https://arxiv.org/html/2606.06865#bib.bib69))。此类计算是广泛应用的基石,包括社交网络分析 Newman (2003 (https://arxiv.org/html/2606.06865#bib.bib60))、欺诈检测 Lyu 等人 (2020 (https://arxiv.org/html/2606.06865#bib.bib57)) 和推荐系统 He 等人 (2017 (https://arxiv.org/html/2606.06865#bib.bib31))。然而,对图计算技术专业知识的依赖,为将基于图的分析应用于现实问题设置了显著障碍。因此,需要能够利用 LLM 解释用户意图并将其转化为计算解决方案的方法,从而降低图计算的门槛 Liu 等人 (2024a (https://arxiv.org/html/2606.06865#bib.bib53))。 尽管对使用 LLM 处理图计算任务的关注日益增长 Guo 等人 (2025 (https://arxiv.org/html/2606.06865#bib.bib24)),但 LLM 是否从根本上适合图计算仍存在争议。图计算通常需要精确的结构推理、忠实跟踪顶点和边,或多步骤算法执行,这与 LLM 的概率性下一个 token 预测目标大相径庭。现有研究表明,LLM 可能产生图结构幻觉、遗漏关键边,并且随着图规模或推理深度的增加,性能会严重下降 Liu 等人 (2024b (https://arxiv.org/html/2606.06865#bib.bib54));Wang 等人 (2024b (https://arxiv.org/html/2606.06865#bib.bib84));Heyman 和 Zylberberg (2025 (https://arxiv.org/html/2606.06865#bib.bib32))。这些发现引发了对使用 LLM 进行图计算的担忧,尤其是在对正确性要求苛刻的场景中。 如表1 (https://arxiv.org/html/2606.06865#S1.T1) 所示,尽管少数综述探索了 LLM 用于图,但尚无系统性地考察 LLM 对图计算的适用性。Ren 等人 (2024 (https://arxiv.org/html/2606.06865#bib.bib70)) 综述了将 LLM 与图学习技术相结合的方法;Li 等人 (2024c (https://arxiv.org/html/2606.06865#bib.bib50)) 聚焦文本属性图,并按 LLM 在模型流水线中的角色对方法进行分类;Jin 等人 (2024a (https://arxiv.org/html/2606.06865#bib.bib40)) 综述了多种图类型,但未清晰区分图计算与针对文本语义有限的图的图学习;Han 等人 (2025 (https://arxiv.org/html/2606.06865#bib.bib27)) 专注于基于图的检索增强生成,在讨论基于 LLM 的图推理时简要提及了图计算。因此,尽管该领域发展迅速,但关于 LLM 用于图计算的文献仍组织不够完善。 表1:现有关于 LLM 用于图的综述在四个角度的比较:图计算聚焦、任务规范、报告实验结果的性能比较,以及数据集收集。 | 综述 | 图计算聚焦 | 任务规范 | 性能总结 | 数据集收集 |
|------|------------|----------|----------|------------|
| Ren 等人 (2024 (https://arxiv.org/html/2606.06865#bib.bib70)) | ◐ | ○ | ○ | ○ |
| Jin 等人 (2024a (https://arxiv.org/html/2606.06865#bib.bib40)) | ◐ | ● | ○ | ● |
| Li 等人 (2024c (https://arxiv.org/html/2606.06865#bib.bib50)) | ◐ | ○ | ○ | ○ |
| Han 等人 (2025 (https://arxiv.org/html/2606.06865#bib.bib27)) | ◐ | ◐ | ○ | ● |
| 本综述 | ● | ● | ● | ● |

●:核心且明确的覆盖;◐:明确但部分覆盖;○:无专门覆盖。

本综述旨在填补这一空白,提供一份深入且系统的回顾,聚焦于 LLM 用于图计算,并探索未来研究的潜在方向。如表1 (https://arxiv.org/html/2606.06865#S1.T1) 所示,我们的综述专注于 LLM 用于图计算,并明确提供了相关任务的定义、基于每篇论文报告实验结果的性能比较,以及范围内的数据集收集。贡献可总结如下:

*   **基于角色的分类法。** 我们引入了一种新的分类法,用于对 LLM 在图计算任务中的研究进行分类。我们的分类法阐明了 LLM 在图计算任务中扮演的角色。在此基础之上,我们根据每种范式内采用的具体技术进一步细分研究。
*   **全面回顾与总结。** 基于所提出的分类法,我们回顾了当前文献,分析了每种方法的优势与局限。我们还在附录 B (https://arxiv.org/html/2606.06865#A2) 中总结了代表性图计算任务的定义和时间复杂度。在附录 C (https://arxiv.org/html/2606.06865#A3) 中,我们汇编了用于评估 LLM 在图计算上的广泛数据集。我们还在附录 D (https://arxiv.org/html/2606.06865#A4) 中比较了代表性方法及其报告的性能和代码可用性。
*   **基于证据的评估与未来方向。** 基于现有证据,我们认为 LLM 作为灵活接口在简单任务和小图上很有前景,但在大规模图和正确性要求严格的图任务中能力有限。基于此分析,我们进一步提出了四个未来方向,包括开发语义图基准、优化复杂图查询的多步执行、保护提示和训练数据中的图隐私,以及使 LLM 适应特定领域的图结构。

{forest}
图1:LLM 用于图计算的分类法。

## 2 背景

在本节中,我们首先提供关于图计算任务和 LLM 的必要背景知识。然后,我们提出针对 LLM 用于图计算的分类法。

### 2.1 定义

**图结构化数据。** 图 \(G=(V,E)\) 是一种非线性数据结构,由顶点集 \(V\) 和连接这些顶点的边集 \(E\) 组成。每条边 \(e \in E\) 与一对顶点 \((u,v)\) 相关联,其中 \(u\) 和 \(v\) 是边的端点。根据顶点和边所携带的具体信息,图可分为多种类型。例如,有向图的边 \(e=(u,v)\) 具有方向性,从 \(u\) 指向 \(v\);边加权图的每条边具有权重 \(w(e) \in \mathbb{R}\)。

**图描述。** 由于 LLM 依赖于顺序文本接口,用文本描述图结构是启用基于 LLM 的图计算的基本步骤。列表结构 Tabassum 等人 (2018 (https://arxiv.org/html/2606.06865#bib.bib74)),例如边列表和邻接列表,因其空间效率而被普遍视为图表示方法,有助于在向 LLM 编码图数据时最小化 token 消耗。

*   **邻接列表** \(\mathcal{L}\):对于具有 \(n\) 个顶点的图 \(G\),邻接列表是 \(n\) 个列表的集合,其中顶点 \(u\) 的列表 \(l_u\) 包含所有与 \(u\) 有边连接的顶点 \(v\),即 \(l_u = \{ v \mid (u,v) \in E \}\)。
*   **边列表** \(\mathcal{E}\):图 \(G\) 的边列表是图中所有边的列表。每条边表示为一对 \((u,v)\),其中 \(u\) 和 \(v\) 是边的端点,即 \(\mathcal{E} = \{\, (u,v) \mid (u,v) \in E \,\}\)。

除了基于列表的表示,基于矩阵的表示(如邻接矩阵 Harary (1962 (https://arxiv.org/html/2606.06865#bib.bib30)) 和关联矩阵 Fulkerson 和 Gross (1965 (https://arxiv.org/html/2606.06865#bib.bib19)))以及图描述语言(如图建模语言 Himsolt (1997 (https://arxiv.org/html/2606.06865#bib.bib33)) 和图标记语言 Brandes 等人 (2013 (https://arxiv.org/html/2606.06865#bib.bib4)))也被广泛用于描述图。

**图计算任务。** 图计算任务是在图上定义的问题,目标是发现关系模式、提取结构属性或计算给定图的数学度量。与图学习任务(例如节点分类和链接预测,通过从图数据中学习预测模型或潜在表示来产生学习预测)不同,图计算任务通过对图结构的算法操作来解决,并产生确定性结果。形式上,给定图 \(G=(V,E)\),图计算任务 \(\mathcal{T}\) 指需要对 \(G\) 的顶点和边进行操作以产生答案 \(\mathcal{A}\) 的问题。我们已在附录 B (https://arxiv.org/html/2606.06865#A2) 中总结了常见任务。

**大语言模型。** LLM 是高度参数化(即十亿级别)的语言模型,在大量文本语料上进行预训练,旨在理解和生成文本分布中的内容 Zhao 等人 (2026 (https://arxiv.org/html/2606.06865#bib.bib109))。可以轻松高效地在任务特定数据上微调 LLM,以在多种下游任务上取得更好结果。除了标准的统计文本生成,LLM 还可以充当中心推理引擎,并与动态记忆和外部计算工具相结合,作为自主智能体运行。通过赋予模型访问外部工具和记忆的能力,LLM 在规划多步策略和解决复杂问题方面展示了令人印象深刻的能力 Zhao 等人 (2024 (https://arxiv.org/html/2606.06865#bib.bib108));Mohammadi 等人 (2025 (https://arxiv.org/html/2606.06865#bib.bib59))。

**LLM 用于图计算。** LLM 用于图计算指在求解图计算任务过程中涉及 LLM 的方法。给定图 \(G=(V,E)\) 的文本描述和图计算任务 \(\mathcal{T}\) 作为输入,LLM 利用其预训练知识、推理能力或提供的外部工具来产生相应的答案 \(\mathcal{A}\)。

### 2.2 分类法

在本综述中,我们根据 LLM 在图计算中的角色来组织现有工作。如图 1 (https://arxiv.org/html/2606.06865#S1.F1) 所示,我们总结了两个主要范式:LLM 作为执行器和 LLM 作为规划器。

*   **LLM 作为执行器。** LLM 直接利用其固有的推理能力来解决图问题。现有的基于执行器的方法主要包括三类:i) 提示工程,使用各种提示设计来描述任务;ii) 编码,专注于通过自然语言或专用编码器向 LLM 表示图结构;iii) 后训练,通过在领域特定图数据集上微调,使 LLM 适应图计算。
*   **LLM 作为规划器。** LLM 充当高级编排器,用于分析和解决图计算任务。这包括三种主要方法:i) 代码生成,LLM 生成可执行代码来解决图计算任务;ii) 函数调用,LLM 调用预定义的图 API 或专用工具来提取结果;iii) 多智能体协作,多个基于 LLM 的智能体协作解决图计算任务。

在以下各节中,我们将回顾每个类别下的代表性研究,并讨论其优势与局限。

## 3 LLM 作为执行器

在本节中,我们聚焦于 LLM 作为执行器的范式。在这种设置下,为 LLM 提供图结构和任务指令,模型在内部进行推理,并直接输出最终答案,而不依赖外部工具。我们全面回顾了子类别,并讨论了其优势与局限。

### 3.1 提示工程

为了使 LLM 能够在不修改其内部参数的情况下进行图计算,一条稳健的研究路线探索了高级提示技术。这种方法利用模型固有的推理能力和预训练知识,严格通过自然语言指令来解释图任务。早期研究探讨了如何使 LLM 适应图计算。GPT4Graph Guo 等人 (2023 (https://arxiv.org/html/2606.06865#bib.bib23)) 是最早引入将 LLM 集成到图计算中的流水线的工作之一。除了通用提示策略,例如零样本提示 Kojima 等人 (2022 (https://arxiv.org/html/2606.06865#bib.bib44))、少样本提示 Brown 等人 (2020 (https://arxiv.org/html/2606.06865#bib.bib6))、思维链 Wei 等人 (2022 (https://arxiv.org/html/2606.06865#bib.bib87))、由少到多提示 Zhou 等人 (2023 (https://arxiv.org/html/2606.06865#bib.bib110)) 和自一致性 Wang 等人 (2023b (https://arxiv.org/html/2606.06865#bib.bib83)),Wang 等人 (2023a (https://arxiv.org/html/2606.06865#bib.bib79)) 通过“构建图提示”和“算法提示”进一步增强了 LLM 在图计算上的能力。

最近的研究改进了提示方法,使 LLM 能够处理更广泛的图类型和任务。LLM4DyG Zhang 等人 (2024b (https://arxiv.org/html/2606.06865#bib.bib107))

相似文章

理解大型语言模型

arXiv cs.CL

本章回顾了当前对大型语言模型的理解,讨论了它们的Transformer架构、类似人类认知的涌现能力,以及关于LLM是真正理解还是仅仅模拟理解的争论。