UNIT: 释放大型语言模型在图持续学习中的潜力

# UNIT: 释放大语言模型在图持续学习中的潜力
来源：https://arxiv.org/html/2607.10159
\(2026\)

######  摘要

在现实世界的多模态网络场景中，图结构数据通常以流式方式到达，这使得图持续学习成为持续建模这类演化结构的关键范式。然而，现有的图持续学习方法仍然面临两个根本挑战：1）语义-结构分离，即基于图的方法擅长建模拓扑关系但忽视深层语义；2）知识迁移不平衡，即现有模型无法有效利用早期任务中获得的通用知识来惠及后续新任务。为解决上述问题，我们提出了一种新颖框架：**释放大语言模型在图持续学习中的潜力**（UNIT）。通过在第一个任务上仅微调大语言模型，我们弥合了预训练LLM语料库与目标任务数据集之间的分布差距，从而增强LLM对图结构任务的适应性。同时，我们提出了一种不确定性感知的锚点生成机制，有效保留跨任务的代表性知识，避免忽视从先前任务中学到的通用知识。此外，我们引入了结构融合建模，显式地将图拓扑信息整合到语义信息中，增强语义理解与结构建模之间的协作能力。大量实验表明，我们提出的方法在图持续学习任务中达到了最先进的性能。

多模态融合；持续学习；大语言模型；文本属性图

††版权：acm授权
††期刊年份：2026
††DOI：XXXXXXX.XXXXXXX
††会议：第34届ACM国际多媒体会议；2026年11月10-14日；巴西，里约热内卢
††论文集：第34届ACM国际多媒体会议论文集（MM '26），2026年11月10-14日，巴西，里约热内卢
††ISBN：978-1-4503-XXXX-X/2018/06
††CCS：计算方法论 → 机器学习
††CCS：信息系统 → 社交网络
††CCS：信息系统 → 数据挖掘

## 1. 引言

图持续学习（GCL）已成为建模演化多模态数据以分析多媒体社交网络（Chen et al., 2025 (https://arxiv.org/html/2607.10159#bib.bib3)；Huang et al., 2025 (https://arxiv.org/html/2607.10159#bib.bib13)）、多模态知识图谱（Han et al., 2025 (https://arxiv.org/html/2607.10159#bib.bib9)）和多媒体推荐系统（Jia et al., 2025 (https://arxiv.org/html/2607.10159#bib.bib15)）等领域中持续变化结构的关键范式。凭借捕获复杂图拓扑以及丰富多模态节点属性（如文本、图像和视频）的强大能力，图神经网络（GNN）已成为GCL任务的主要骨干（Choi et al., 2024 (https://arxiv.org/html/2607.10159#bib.bib7)）。尽管现有工作可以通过正则化或经验回放保留部分历史知识，但它们通常需要对涉及动态多媒体内容的每个新任务从头开始重新训练（Cheng et al., 2025 (https://arxiv.org/html/2607.10159#bib.bib6)），如图1 (https://arxiv.org/html/2607.10159#S1.F1)(a)所示。因此，当模型适应新的数据流时，它仍然容易覆盖先前学到的跨模态对齐和结构知识，导致灾难性遗忘。因此，在动态多媒体环境中强调有效策略以防止灾难性遗忘，仍然是图持续学习任务的关键挑战。

参考图标题 图1. 工作流程对比。现有的图持续学习方法需要为每个任务从头训练GNN模型。相比之下，我们提出的框架仅在第一个任务上微调LLM，而后续任务则基于参数冻结的LLM更新分类器。

现有的图持续学习方法根据其技术基础大致分为三种范式。基于正则化的方法（Hung et al., 2019 (https://arxiv.org/html/2607.10159#bib.bib14)；Zhou and Cao, 2021 (https://arxiv.org/html/2607.10159#bib.bib42)）通过拓扑加权或知识蒸馏的显式约束实现参数正则化。任务关键参数隔离方法（Zhang et al., 2023b (https://arxiv.org/html/2607.10159#bib.bib36), 2022a (https://arxiv.org/html/2607.10159#bib.bib38)）通过扩展参数来容纳新知识实现参数隔离。基于回放的方法（Zhang et al., 2022b (https://arxiv.org/html/2607.10159#bib.bib39), 2023a (https://arxiv.org/html/2607.10159#bib.bib40)）通过回放代表性历史数据，包括关键节点、稀疏计算子图和精简的任务特定图等。然而，尽管现有的图持续学习方法在一定程度上缓解了灾难性遗忘，它们在有效利用历史知识方面仍然有限。具体而言，基于回放的方法面临实际限制，因为隐私问题和存储限制往往限制对历史任务数据的访问，从而削弱了它们的适用性。因此，一些研究试图设计不同范式来缓解图持续学习任务中的灾难性遗忘。

最近，随着大语言模型（LLM）的快速发展，利用LLM结合文本信息建模图结构的研究兴趣显著增加，称为图语言模型（GLM）（Liu et al., 2019 (https://arxiv.org/html/2607.10159#bib.bib22)；Zhou et al., 2025 (https://arxiv.org/html/2607.10159#bib.bib41)）。GLM方法通常利用LLM检索节点相关的语义知识，以增强GNN初始嵌入的质量（Wu et al., 2025 (https://arxiv.org/html/2607.10159#bib.bib32)；Zhu et al., 2024 (https://arxiv.org/html/2607.10159#bib.bib44)），或者将图结构信息纳入LLM以改进分类预测（Tang et al., 2024 (https://arxiv.org/html/2607.10159#bib.bib28)；Chen et al., 2024b (https://arxiv.org/html/2607.10159#bib.bib4)）。尽管这类方法能够有效整合语义和结构信息，但它们仍然无法在图持续学习中充分利用历史知识。相比之下，SimGCL (Cheng et al., 2025 (https://arxiv.org/html/2607.10159#bib.bib6)) 被提出作为GLM方法中针对图持续学习任务的首次尝试。它在初始任务中对LLM进行基于指令的微调（使用结构化提示），并在后续任务中利用LLM进行分类预测。与一般GLM方法相比，基于GLM的图持续学习任务仍远未充分探索。

尽管上述用于图持续学习任务的方法具有直接性和有效性，但仍然存在一些问题。首先，现有方法存在**结构信息退化**问题，这是由于图拓扑的隐式线性化造成的。虽然SimGCL试图通过文本提示纳入结构上下文，但它们强制将非欧几里得图结构转化为线性序列。这种线性化不可避免地导致高阶拓扑模式的丢失，并迫使LLM仅通过语义注意力来推断结构，缺乏明确的几何先验。因此，清晰的结构模态被占主导的文本特征所掩盖，导致语义-结构不平衡，其中演化图中关键的拓扑变化未被充分表示。其次，当前的知识迁移机制容易导致**原型刚性**。SimGCL采用静态原型策略，通过对样本嵌入进行简单均值池化来构建类别表示。这种方法假设所有样本同样可靠，忽略了流数据中固有的不确定性和噪声。在连续设置中，确定性聚合无法自适应地用新证据校准历史知识，导致模型在当前任务中过度拟合噪声异常值。这导致了次优的知识保留，并限制了模型对未来任务的可塑性。

在本工作中，我们提出了一种新颖框架，即**释放大语言模型在图持续学习中的潜力**，简称**UNIT**。UNIT由三个关键组件组成，能够**有效整合语义和结构信息，同时实现高效的知识迁移**。具体而言，语义指令调优模块设计特定的提示指令来微调预训练LLM，弥合预训练语料库与目标任务数据集之间的分布差距，以增强LLM对图结构任务的适应性。不确定性感知锚点生成利用微调后的LLM在每个任务上构建语义锚点，更新分类器权重，同时实现高效的知识迁移而不会遗忘先前知识。此外，结构融合建模通过图拓扑显式生成结构锚点，与语义锚点共同引导分类器权重，实现语义与结构信息的充分整合，增强语义理解与结构建模之间的协作能力。在五个基准数据集上的综合实验表明，UNIT能够准确分类图持续学习任务中的变化数据，达到最先进的性能。

参考图标题 图2. 释放大语言模型在图持续学习中的潜力（UNIT）的整体框架。所提出的框架包括三个阶段，即语义指令调优、不确定性感知锚点生成和结构融合建模。预训练LLM通过特定指令提示进行微调，然后生成语义锚点和结构锚点，共同更新分类器权重，实现准确的分类预测。

我们的贡献总结如下：

- **特定设计**。我们在初始任务上为LLM设计特定的指令提示进行微调，弥合预训练LLM语料库与目标任务数据集之间的分布差距，促进LLM适应图持续学习任务。
- **新颖框架**。我们提出不确定性感知锚点生成和结构融合建模，以实现全面的知识迁移以及语义信息与结构信息在图持续学习任务中的充分整合。
- **最先进性能**。我们在五个真实世界数据集上进行大量实验，证明了UNIT的有效性，在图持续学习任务上达到了最先进的性能。

## 2. 相关工作

### 2.1 基于LLM的持续学习

持续学习长期以来作为一种基本范式被研究，用于训练模型逐步适应新任务而不遗忘先前获得的知识（Choi et al., 2024 (https://arxiv.org/html/2607.10159#bib.bib7)），已成为建模演化多模态数据的关键范式。随着大语言模型的快速崛起，越来越多的研究正在探索如何将这些模型扩展到持续学习场景（Devlin et al., 2019 (https://arxiv.org/html/2607.10159#bib.bib8)；Touvron et al., 2023 (https://arxiv.org/html/2607.10159#bib.bib29)；Hu et al., 2022 (https://arxiv.org/html/2607.10159#bib.bib11)；Chen et al., 2024b (https://arxiv.org/html/2607.10159#bib.bib4)）。用于持续学习任务的语言模型（Brown et al., 2020 (https://arxiv.org/html/2607.10159#bib.bib2)）在广泛语料上预训练后，部署到连续学习任务时表现出固有的泛化优势。InfLoRA (Liang and Li, 2024 (https://arxiv.org/html/2607.10159#bib.bib20)) 和 BiLoRA (Zhu et al., 2025 (https://arxiv.org/html/2607.10159#bib.bib43)) 通过冻结骨干网络或保留预训练权重等方法使用参数高效微调（PEFT）。ENGINE (Zhu et al., 2024 (https://arxiv.org/html/2607.10159#bib.bib44)) 和 SimpleCIL (Zhou et al., 2025 (https://arxiv.org/html/2607.10159#bib.bib41)) 通过采用正交优化来最小化跨任务干扰。然而，尽管取得了这些进展，基于LLM的持续学习主要关注防止语义表示的灾难性遗忘，在图持续学习任务中仍未得到充分探索。相反，我们的方法仅在初始任务中使用特定提示微调LLM，然后使用参数冻结的LLM完成后续任务。

### 2.2 图持续学习

图持续学习主要研究由于图结构演化而产生的灾难性遗忘（Choi et al., 2024 (https://arxiv.org/html/2607.10159#bib.bib7)）。图持续学习方法可根据其缓解灾难性遗忘的方法进行分类。CPG (Hung et al., 2019 (https://arxiv.org/html/2607.10159#bib.bib14)) 和 ER-GNN (Zhou and Cao, 2021 (https://arxiv.org/html/2607.10159#bib.bib42)) 是基于正则化的方法，它们通过基于拓扑加权的参数正则化或知识蒸馏对模型施加显式约束。PI-GNN (Zhang et al., 2023b (https://arxiv.org/html/2607.10159#bib.bib36)) 和 HPNs (Zhang et al., 2022a (https://arxiv.org/html/2607.10159#bib.bib38)) 被提出作为关键参数隔离方法，通过扩展参数或模型组件来容纳新知识实现参数隔离。SSM (Zhang et al., 2022b (https://arxiv.org/html/2607.10159#bib.bib39))、SEM (Zhang et al., 2023a (https://arxiv.org/html/2607.10159#bib.bib40)) 和 TPP (Wang et al., 2023 (https://arxiv.org/html/2607.10159#bib.bib31)) 是基于回放的方法，它们分别使用关键节点和稀疏计算子图来回放代表性历史数据，以防止灾难性遗忘。然而，由于图领域的可扩展性和隐私问题，这些方法在利用历史知识方面存在显著局限性。相比之下，我们引入了不确定性感知锚点生成以实现高效的知识迁移，能够通过LLM利用历史知识来启发未来任务。

### 2.3 图语言模型

随着LLM的快速发展，图语言模型逐渐成为利用LLM解决图任务的热门方法（Devlin et al., 2019 (https://arxiv.org/html/2607.10159#bib.bib8)；Liu et al., 2019 (https://arxiv.org/html/2607.10159#bib.bib22)；Touvron et al., 2023 (https://arxiv.org/html/2607.10159#bib.bib29)；Chen et al., 2024b (https://arxiv.org/html/2607.10159#bib.bib4)）。根据LLM与图结构的整合方式，GLM方法可分为三类。Glbench (Li et al., 2024 (https://arxiv.org/html/2607.10159#bib.bib18)) 和 Graphtranslator (Zhang et al., 2024 (https://arxiv.org/html/2607.10159#bib.bib35)) 利用LLM作为增强器，为节点文本信息生成语义表示，从而提高GNN节点嵌入的质量。TEA-GLM (Wang et al., 2024 (https://arxiv.org/html/2607.10159#bib.bib30)) 和 MAGRL (Yan et al., 2025 (https://arxiv.org/html/2607.10159#bib.bib34)) 将LLM作为预测器，在为图结构信息设计特定提示后进行分类预测。CoT (Tan et al., 2025 (https://arxiv.org/html/2607.10159#bib.bib27))