MetaRTL: 元路径注意力增强的关系表学习

# 基于元路径注意力增强的关系表学习
来源：https://arxiv.org/html/2609.19832
## MetaRTL：基于元路径注意力增强的关系表学习
致谢：*通讯作者*。

钟肯1，李伟辰1，王正1,2
*单位：*
1 中国上海交通大学计算机科学学院，中国上海
2 上海市信息安全综合管理技术重点实验室，中国上海
{zhongken, weichenli, wzheng}@sjtu.edu.cn

###### 摘要
随着关系数据库的广泛使用，关系表学习日益受到关注。现有方法通常依赖于深层的图神经网络（GNN）或异构图神经网络（HGNN）堆叠，导致计算成本高昂且在大规模实际数据库上性能受限。我们提出了MetaRTL，一个可扩展且富有表现力的关系表学习两阶段框架。在第一阶段，MetaRTL通过轻量级预训练获取初始表嵌入。在第二阶段，它执行无参数消息传递以提取元路径特征，然后通过注意力模块MetaAttn进行聚合。通过将计算从深层消息传递转移到高效的元路径聚合，MetaRTL在保持高效率的同时捕获了丰富的关系语义。在跨越24个任务的10个真实数据集上的实验证明了所提方法的有效性。

###### 索引术语：
关系表学习，表格神经网络，图神经网络，数据挖掘。

## I 引言
关系数据库是现代应用数据管理的支柱，支撑着金融、医疗和电子商务等关键领域\[1 (https://arxiv.org/html/2609.19832#bib.bib21)\]。因此，针对关系表数据的机器学习，即关系表学习（RTL）\[2 (https://arxiv.org/html/2609.19832#bib.bib3)\]，已经吸引了研究关注\[3 (https://arxiv.org/html/2609.19832#bib.bib2)\]。在深度学习时代，该任务的目标是以端到端的方式对关系表数据进行建模，无需耗时的人工特征工程，并在用户画像、行为预测和点击率预估等各种应用中取得强大性能\[4 (https://arxiv.org/html/2609.19832#bib.bib22)\]\[5 (https://arxiv.org/html/2609.19832#bib.bib30)\]。

现有深度RTL方法的一种常见做法是首先基于主键-外键（pkey-fkey）关系构建异构图\[6 (https://arxiv.org/html/2609.19832#bib.bib4)\]，其中每个节点对应表中的一行，表间依赖关系通过不同的边类型捕获。然后，为了处理这种结构化的关系数据，这些方法\[6 (https://arxiv.org/html/2609.19832#bib.bib4)\]\[2 (https://arxiv.org/html/2609.19832#bib.bib3)\]通常采用一种直接但实用的方法，建立在表格神经网络（TNN）\[7 (https://arxiv.org/html/2609.19832#bib.bib23)\]和图神经网络（GNN）\[8 (https://arxiv.org/html/2609.19832#bib.bib11)\]或异构GNN（HGNN）\[9 (https://arxiv.org/html/2609.19832#bib.bib26)\]的进展之上。通常，TNN直接为每行生成初始节点嵌入，简单编码每个表的语义，然后通过堆叠GNN/HGNN层进行细化，以促进跨表消息传递。

虽然这种范式取得了一些先进的结果，但在实际应用中仍面临至少两个显著挑战。一方面，生成的异构图通常表现出高关系复杂性和密集连接。例如，公开可用的Stack Exchange数据集\[10 (https://arxiv.org/html/2609.19832#bib.bib1)\]源自一个真实的问答平台，每个领域包含八个关系表。这些包括用户、帖子和评论等实体，每个表平均包含数千万条记录。另一方面，现有方法依赖于深层的GNN/HGNN堆叠，这可能导致巨大的计算成本并遭遇常见的深层GNN问题\[11 (https://arxiv.org/html/2609.19832#bib.bib19)\]\[12 (https://arxiv.org/html/2609.19832#bib.bib20)\]。

为了解决这些挑战，我们提出了MetaRTL（基于元路径的关系表学习），一个旨在增强RTL在大规模关系表上建模能力的新颖框架。MetaRTL的核心思想有两方面：（1）利用元路径捕获复杂关系结构中的丰富语义关系，（2）采用注意力机制，通过强调任务相关的元路径特征来实现特征融合。为便于实现和提高效率，MetaRTL分两个阶段运行：

1. 预训练阶段：一个由一组TNN组成的表编码器，以比先前RTL框架少得多的迭代次数进行训练。我们不依赖深层的GNN/HGNN堆叠，而是采用一个简单的两层HGNN并提前终止训练（在我们的实验中为5个epochs），生成足够用于后续元路径聚合的稳定节点嵌入。
2. 聚合阶段：然后，使用这些嵌入通过异构图上的无参数传播计算沿元路径的语义特征。为了有效整合这些特征同时缓解采样引起的语义偏差，我们提出了MetaAttn，一个轻量级的注意力模块，它将元路径自注意力与全局节点交叉注意力相结合。

直观地说，来自预训练阶段的初始嵌入提供了一个坚实的基础，而聚合阶段的注意力机制则实现了富有表现力且可解释的特征融合。从计算角度来看，通过将建模重点转移到聚合阶段并利用预计算的元路径特征，MetaRTL避免了深层GNN堆叠流水线，同时保持了高效率。因此，它随表行数和关系数量线性扩展，有效处理复杂的关系表数据。在涵盖24个任务的十个真实数据集上的大量实验证明了所提方法的有效性。

我们的主要贡献总结如下：

- • 我们提出了MetaRTL，一种基于元路径的新颖两阶段RTL框架，用于捕获复杂的关系表信息。
- • 我们设计了一个轻量级高效的聚合模块MetaAttn，它整合了元路径特征和全局节点语义。
- • 我们在各种真实数据集上进行了广泛的实验，证明了MetaRTL的优越性。

图 1：MetaRTL框架概览。给定关系表数据，我们首先按照定义1将其转换为异构图作为预处理步骤。然后该框架分两个阶段进行。在预训练阶段（上），一个由多个TNN组成的统一表编码器与一个浅层HGNN一起，在邻居采样子图上联合训练非常少的轮次，生成稳定且语义有意义的节点嵌入。在聚合阶段（下），这些嵌入用于通过图上的无参数传播计算元路径特征。然后，一个轻量级的注意力模块MetaAttn聚合多个元路径特征和全局节点语义，以获取任务特定的目标节点表示。

## II 相关工作
### II-A 异构图神经网络
异构图神经网络（HGNNs）是图神经网络（GNNs）研究的一个分支\[9 (https://arxiv.org/html/2609.19832#bib.bib26)\]，广泛用于对多类型图数据进行建模。现有方法大致可分为参数化或非参数化，取决于它们是否依赖可训练参数。参数化HGNNs（如HAN\[13 (https://arxiv.org/html/2609.19832#bib.bib12)\]）使用可训练参数来建模语义异构性，通过堆叠架构在训练期间聚合多跳邻域信息并计算注意力权重。然而，这些模型在大规模图上训练成本高昂，并且经常遭受过平滑问题\[11 (https://arxiv.org/html/2609.19832#bib.bib19)\]\[12 (https://arxiv.org/html/2609.19832#bib.bib20)\]\[14 (https://arxiv.org/html/2609.19832#bib.bib31)\]。非参数化HGNNs（如SeHGNN\[15 (https://arxiv.org/html/2609.19832#bib.bib13)\]）通过在训练前预计算元路径特征来减少对类型特定参数的依赖。这提高了效率，但这些方法通常依赖于固定的节点特征，并且与基于采样的小批量训练不兼容。MetaRTL建立在这一研究方向之上，并弥合了将此类方法应用于关系表数据的差距，其中节点特征是从原始表条目自动学习的，而图结构是由模式级别的关系诱导的。

### II-B 关系表学习
关系表学习（RTL）侧重于对来自真实世界、通过主键-外键（pkey-fkey）关系链接的多表关系数据库的结构化数据进行建模\[3 (https://arxiv.org/html/2609.19832#bib.bib2)\]。早期方法使用逻辑\[16 (https://arxiv.org/html/2609.19832#bib.bib27)\]或概率图模型\[17 (https://arxiv.org/html/2609.19832#bib.bib28)\]显式建模跨表的关系依赖。虽然表现力强，但这些方法通常需要手动特征工程，并且无法很好地扩展到大型数据库。随着深度学习的兴起，最近的研究利用表格神经网络（TNN）和图神经网络（GNN）\[18 (https://arxiv.org/html/2609.19832#bib.bib14),4 (https://arxiv.org/html/2609.19832#bib.bib22)\]等技术。例如，已经探索了跨表的基于图的表示\[19 (https://arxiv.org/html/2609.19832#bib.bib15)\]。RDL\[6 (https://arxiv.org/html/2609.19832#bib.bib4)\]引入了关系实体图和一个通用的TNN-GNN框架，可泛化到任意多关系表。BRIDGE\[2 (https://arxiv.org/html/2609.19832#bib.bib3)\]通过减少辅助表的数量并忽略异构性来简化此方法。RelGNN\[20 (https://arxiv.org/html/2609.19832#bib.bib5)\]进一步将消息传递分解为基于关系洞察的原子路径建模。LightRDL\[21 (https://arxiv.org/html/2609.19832#bib.bib16)\]专注于效率，并使用小型GNN蒸馏关系模式，同时依赖工程特征进行时序信号处理，从而实现更快的推理。MetaRTL通过采用解耦的两阶段架构与这些方法不同：一个浅层预训练阶段，随后是使用轻量级注意力模块的元路径特征聚合，为关系表学习提供了更具表现力的解决方案。

## III 预备知识
定义 1 关系表数据。关系表数据包含多个通过主键-外键（pkey-fkey）关系链接的结构化表。它可以建模为一个异构图$\mathcal{G}=(\mathcal{V},\mathcal{E},\mathcal{T}_{v},\mathcal{T}_{e})$，其中$\mathcal{V}$和$\mathcal{E}$分别表示节点集和边集，$\mathcal{T}_{v}$和$\mathcal{T}_{e}$是它们的类型集\[6 (https://arxiv.org/html/2609.19832#bib.bib4)\]。每个表对应一个特定的节点类型，表中的每一行代表该类型的一个节点。同样，每个主键-外键（pkey-fkey）关系定义了一种边类型：对于每个这样的关系，会为通过pkey-fkey匹配连接的每对行创建一条类型化的边。这种基于图的表述保留了关系结构以供下游建模。

定义 2 元路径。元路径\[22 (https://arxiv.org/html/2609.19832#bib.bib25)\]是一个模式级路径，定义为连接源节点类型和目标节点类型的边类型序列，经过中间类型。令$\Phi$表示所有待考虑元路径的集合。每个元路径$\mathcal{P} \in \Phi$定义为：
$\mathcal{P}: \tau_{s} \rightarrow \tau_{1} \rightarrow \tau_{2} \rightarrow \cdots \rightarrow \tau_{t}$ (1)
其中$\tau_{s}$是源节点类型，$\tau_{t}$是目标节点类型。虽然通过元路径连接的节点在图中可能不是直接相邻的，但该路径意味着它们之间语义上有意义的关系\[15 (https://arxiv.org/html/2609.19832#bib.bib13)\]。基于定义1，在关系表数据上下文中，目标节点类型对应于目标表或任务表，而源节点类型指的是其他辅助表。

定义 3 异构图神经网络。异构图神经网络（HGNN）是一类为异构图上的表示学习而设计的GNN。令$\mathbf{h}_{v} \in \mathbb{R}^{d}$表示节点$v$在给定层的表示。111为方便符号表示，本文中我们使用$d$表示特征维度，尽管实际维度可能在不同模块间变化。在每一层，HGNN遵循消息传递范式\[23 (https://arxiv.org/html/2609.19832#bib.bib8)\]更新节点表示，其中消息从与不同边类型$r \in \mathcal{T}_{e}$关联的类型特定邻居集合中聚合。形式上，一个$l$层HGNN模型可以写为：
$\mathrm{MP}(\mathbf{h}_{v}, \mathcal{G}) = \mathrm{UPD}\left(\left\{\mathrm{AGGR}_{r}\left(\mathbf{h}_{v}, \mathcal{N}_{v}^{\,r}\right) \,\middle|\, r\in\mathcal{T}_{e}\right\}\right)$ (2)
$\mathrm{HGNN}(\mathbf{h}_{v}, \mathcal{G}) = \mathrm{MP}_{l} \circ \cdots \circ \mathrm{MP}_{1}(\mathbf{h}_{v}, \mathcal{G})$
其中$\circ$表示函数组合，$\mathrm{MP}_{i}(\cdot)$是第$i$层消息传递层，$\mathcal{N}_{v}^{\,r}$是节点$v$在边类型$r$下的邻居集，$\mathrm{AGGR}_{r}(\cdot)$是边类型特定的聚合算子（例如均值池化），$\mathrm{UPD}(\cdot)$是更新函数，用于整合所有边类型的聚合消息。

定义 4 注意力机制。注意力使得能够基于成对相关性对输入特征进行动态加权，是Transformer架构的核心组件\[24 (https://arxiv.org/html/2609.19832#bib.bib6)\]。给定查询矩阵$Q$、键矩阵$K$和值矩阵$V$，注意力输出计算为：
$\mathrm{Attn}(Q,K,V) = \mathrm{softmax}\left(\frac{QK^{\top}}{\sqrt{d}}\right)V.$ (3)
此表述支持自注意力（当$Q=K=V$时）和交叉注意力（当$Q$与$K, V$不同时），并且自然适用于不同的序列长度。为清晰起见，我们省略了批次维度和多头扩展，这些很容易包含在内。

## IV 方法论
我们提出MetaRTL，一个用于关系表学习的可扩展且富有表现力的两阶段框架。所提框架分两个连续阶段运行：（1）预训练阶段，其中使用仅少量训练迭代次数训练一个统一的表编码器与一个两层HGNN，以生成语义有意义且鲁棒的节点嵌入；以及（2）聚合阶段，其中预计算的元路径特征通过一个紧凑的双分支注意力模块MetaAttn与全局节点表示高效融合，以推导出用于下游任务的最终节点表示。

### IV-A 预训练阶段
如上图顶部所示，