超图即语言

# 超图即语言 来源：https://arxiv.org/html/2605.21858

雷鸣1,2，谢国欢1,2，应世辉3，杜少毅4，雍俊海1，李思奇1,2，高跃1,2

1{BNRist, THUIBCS, BLBCI, 软件学院}，清华大学
2长三角研究院，清华大学
3上海市应用数学与力学研究所，上海大学
4人机混合增强智能全国重点实验室，视觉信息与应用国家工程研究中心，人工智能与机器人研究所，西安交通大学

[email protected], [email protected], [email protected]
[email protected], [email protected], [email protected], [email protected]

###### 摘要

大语言模型（LLMs）近期在关系结构建模方面展现出巨大潜力。然而，现有方法本质上仍以图为中心：它们主要将成对图结构处理为LLM能够理解的标记。相比之下，许多现实世界的关系模式并不自然符合成对边的假设，更适合建模为超图中的高阶关联。面对超图结构，现有方法往往无法保留多个对象被同一高阶关系联合连接的本征语义，从而限制其有效利用复杂结构的能力。为解决这一局限，我们提出**超图即语言**视角，并推出Hyper-Align，一种面向大语言模型的超图原生对齐框架。Hyper-Align将以查询对象为中心的超图上下文编译为一系列超图标记，基础LLM可直接消费这些标记。具体而言，我们首先提出超图关联细节与概览模板（HIDT-O），将高阶关联结构序列化为一个混合模板，包含局部关联细节和概览级摘要。然后设计超图关联投影器（HIP），通过显式的语义-结构解耦以及顶点与超边之间的双向消息传递，将原生高阶关联结构映射到LLM标记空间。在此基础上，我们进一步定义具体的超图即语言输入协议，将超图标记和文本提示共同送入冻结的基础LLM，从而在统一的问答范式下支持顶点级和超边级任务。此外，为系统评估不同方法在超图结构建模中的能力，我们引入HyperAlign-Bench。大量实验表明，我们的Hyper-Align在域内和零样本评估中均显著优于现有方法。代码见：https://github.com/Mengqi-Lei/Hypergraph-as-Language。

### 1 引言

大语言模型（LLMs）在语言理解、知识迁移和统一任务建模方面表现出强大能力，进一步加速了其在结构化数据领域的扩展（Brown等人，2020；Wei等人，2021；Zhao等人，2023；Hadi等人，2023）。近年来，基于LLM的图结构数据研究逐渐成为活跃课题，主要遵循两种范式（Ren等人，2024；Pan等人，2023；Li等人，2023）。一类方法将图结构改写为自然语言或代码风格描述（Ye等人，2024；Chai等人，2025；Cai等人，2024；Li等人，2024），使LLM能够在文本空间中直接执行图任务。另一类方法将图结构转换为与LLM输入空间兼容的图标记序列，使用冻结或接近冻结的LLM作为各种任务（甚至零样本推理）的统一接口（Tang等人，2024；Chen等人，2024；Wang等人，2024；Zhu等人，2025）。尽管这些方法显著推动了LLM与图学习的融合，其建模假设本质上仍以图为中心：基本结构单元通常是成对邻接、节点邻域或从图导出的标记序列。

请参见图说明
图1：我们的方法示意图。

然而，现实世界中的许多高阶关系并不自然符合普通图的成对边假设（Berge，1984；Zhou等人，2006；Gao等人，2024；Battiston等人，2020）。诸如论文共引、群体交互、多实体协作等数据更适合建模为超图，其中一条超边可以同时连接任意数量的顶点。相应地，语义焦点不再是两个顶点是否相连，而是一组对象如何作为一个整体相关联。这意味着超图的本征结构单元不是成对邻接，而是顶点与超边之间建立的高阶关联（Feng等人，2019；Yadati等人，2019）。基于此，直接应用现有以图为中心的方法需要将超图展开为多条成对边（例如通过团展开），这不可避免地丢失原始超图中的高阶关联信息（Chien等人，2022；Feng等人，2024）。近期，一些初步工作开始将超图与大语言模型结合。LLMHG（Chu等人，2024）、HeLLM（Guo等人，2025）和Hyper-RAG（Feng等人，2026）分别关注推荐系统、多模态推荐和检索增强生成（RAG）场景，而HyperLLM（Gu等人，2025）专注于利用LLM从文本数据生成超图。LLM4Hypergraph（Feng等人，2025）构建了超图理解的系统基准，旨在探索将超图转换为自然语言以便大模型理解。我们称这种较直观的范式为“超图转语言”，但这可能导致信息丢失。

尽管有这些努力，一个根本问题仍基本未被探索：**我们能否让超图直接像语言结构输入一样被LLM理解，从而使LLM能够原生建模高阶关联并统一处理超图任务？** 我们将这一新研究方向称为**“超图即语言”**，如图1所示。基于**超图即语言**观点，我们提出Hyper-Align，这是第一个面向大语言模型的超图原生对齐框架。Hyper-Align将以查询对象为中心的高阶关联结构编译为一系列连续超图标记，基础LLM可直接消费这些标记，并在统一的问答范式下进行推理。具体而言，我们首先提出一种超图原生序列化方法——带概览的超图关联细节模板（HIDT-O）。从顶点-超边关联角度，它将高阶关联结构序列化为一个固定形状的模板，包含局部关联细节和概览级摘要。接下来，在表示对齐层面，我们设计超图关联投影器（HIP）。与现有图-LLM方法中常用的共享MLP风格投影器不同，我们的HIP显式解耦语义和结构，区分顶点、超边和概览组件等不同角色。此外，它在投影器内部执行顶点与超边之间的高阶双向消息传递，从而将原生高阶关联结构映射到LLM标记空间。在此基础上，我们进一步定义具体的超图即语言输入协议，使用三部分背景-细节-问题提示，将超图标记和文本上下文共同送入冻结的基础LLM。最后，在超图对齐微调中，我们设计两个辅助监督任务，即阶桶重建和关系重建，以结合主任务损失联合优化HIP的参数。值得注意的是，Hyper-Align不仅限于超图，还自然扩展到普通图，因为普通图可视为每条超边恰好连接两个顶点的特殊超图。

为系统评估不同方法在高阶关联建模中的能力，我们进一步构建HyperAlign-Bench，包含两个核心任务：顶点分类和超边分类，支持域内和零样本评估。总之，本文的贡献可概括如下：

- •我们提出**超图即语言**视角并推出Hyper-Align，这是第一个面向LLM的超图原生对齐框架。
- •我们提出HIDT-O，从顶点-超边关联角度将高阶关联结构序列化为局部细节和概览级摘要的混合模板。
- •我们提出HIP并定义具体的超图即语言输入协议，在高阶关联结构、文本上下文和LLM之间建立统一的对齐接口。同时，我们在超图对齐微调中设计辅助监督以联合优化HIP参数。
- •我们构建HyperAlign-Bench，一个用于高阶关联建模的公平且可重复的基准。大量实验表明，Hyper-Align在域内和零样本评估中均显著优于现有方法，验证了所提方法的必要性和有效性。

### 2 相关工作

现有LLM用于结构化数据的研究主要遵循两条路线：图即文本，将图改写为自然语言或代码风格描述（Ye等人，2024；Chai等人，2025；Cai等人，2024；Li等人，2024）；以及图转标记，将图结构映射为与LLM输入兼容的连续标记（Tang等人，2024；Chen等人，2024；He等人，2025；Kong等人，2025）。GraphGPT（Tang等人，2024）、LLaGA（Chen等人，2024）、TEA-GLM（Wang等人，2024）和PromptGFM（Zhu等人，2025）等方法展示了结构-语言对齐的潜力，但它们本质上基于具有成对边的普通图。这使得它们不足以处理高阶关联，后者的语义在于同一超边内多个顶点的整体分组。与此同时，超图学习方法如HGNN（Feng等人，2019）、Hyper-SAGNN（Zhang等人，2020）和AllSet（Chien等人，2022）直接建模超图结构，而近期工作如HyperBERT（Bazaga等人，2024）以及初步的超图-LLM研究（Gu等人，2025；Guo等人，2025；Chu等人，2024；Feng等人，2026）探索了文本超图、提示、推荐、检索增强或超图提取。然而，这些方法要么依赖特定任务的HGNN编码器，要么专注于特定场景，而未建立超图与LLM之间的统一对齐框架。我们的Hyper-Align填补了这一空白，使超图能够像语言结构输入一样被LLM直接消费，从而支持顶点级和超边级任务的超图原生建模。

### 3 Hyper-Align框架

#### 3.1 方法概述

##### 问题定义。

给定一个超图，我们将其表示为：\(\mathcal{H}=(\mathcal{V},\mathcal{E},\mathcal{X},\mathcal{Z})\)，其中\(\mathcal{V}\)表示顶点集，\(\mathcal{E}=\{e_1,\ldots,e_M\}\)表示超边集，每条超边\(e_i\subseteq\mathcal{V}\)是可能包含任意数量顶点的子集。这里，\(\mathcal{X}=\{x_v\mid v\in\mathcal{V}\}\)表示顶点的文本属性，而\(\mathcal{Z}=\{z_e\mid e\in\mathcal{E}\}\)表示与超边相关的可选文本属性或元数据。我们分别定义顶点度和超边度为：\(d(v)=|\{e\in\mathcal{E}\mid v\in e\}|, \quad r(e)=|e|\)，其中\(r(e)\)也用作我们第3.2节阶桶符号中的超边阶数。我们进一步定义关联矩阵为：\(\mathbf{B}\in\{0,1\}^{|\mathcal{V}|\times|\mathcal{E}|}\)，其中每个条目\(B_{v,e}\)指示顶点\(v\)是否包含于超边\(e\)：如果\(v\in e\)则\(B_{v,e}=1\)，否则\(B_{v,e}=0\)。

Hyper-Align采用统一的对象中心接口。给定查询中心\(c\in\mathcal{V}\cup\mathcal{E}\)，模型的目标是将以\(c\)为中心的高阶关系上下文映射为LLM可直接消费的连续标记序列，然后使冻结的LLM在统一的问答范式下执行下游预测任务。值得注意的是，当所有超边满足\(r(e)=2\)时，该公式自然退化为普通图设置。

请参见图说明
图2：所提Hyper-Align的整体框架。图中“OBRecon.”和“RelRecon.”分别表示阶桶重建和关系重建。圆圈表示顶点，三角形表示超边，灰色虚线槽表示填充槽。

##### Hyper-Align的整体框架。

如图2所示。