LoGIC：用于表基础模型中节点级图上下文学习的预算上下文构建

# 基于表格基础模型的节点级图上下文学习预算化上下文构建
来源：https://arxiv.org/html/2609.05955
## LoGIC：面向节点级图上下文学习的预算化上下文构建框架（基于表格基础模型）

郭子东、杨继辉、左文明††感谢：本文已投稿IEEE供可能发表。版权可能在未经通知的情况下转移，此后此版本可能无法访问。††感谢：*（通讯作者：左文明。）*††感谢：杨明启、郭子东、左文明来自中国广州华南理工大学电子商务系，邮编510006（电子邮箱：[email protected]；[email protected]；[email protected]）。††感谢：杨继辉来自Meta超级智能实验室（电子邮箱：[email protected]）。††感谢：本工作部分受国家自然科学基金项目（资助号62506134）、粤港澳应用数学中心项目（资助号2026A1515060008）以及广东省自然科学基金项目（资助号2026A1515010171）支持。

###### 摘要

表格基础模型已成为强大的图学习器。G2T-FM和GraphPFN等系统将每个节点编码为一个特征行，并通过上下文学习进行预测，其中标记行充当提示。当前协议使用完整的训练表作为上下文，导致注意力与标记池的规模呈二次方增长，并引入预处理和内存瓶颈。我们研究节点级图ICL的上下文构建：对于指定查询，哪些标记节点和辅助非标记节点应构成提示。我们将此分配用两种资源表示：用于预测证据的标记上下文预算，以及用于适配器消息传递而不占用标签容量的非标记“光晕”预算。我们提出LoGIC方法，它通过结构化、基于特征和覆盖度的渠道检索标记节点，为图局部集群中的每个查询共享上下文，为适配器主干网络添加非标记光晕，并在无需测试标签的情况下选择渠道和上下文预算。在来自两个模型族的三种主干网络配置下，预算化上下文在GraphLand上保持了可在本地运行的完整上下文性能，与已发表的大规模数据集结果保持竞争力，并且与全上下文和全图推理相比显著降低了峰值内存需求。它们进一步支持在百万节点图上进行冻结的图ICL推理，无需重新训练。我们的分析明确了检索渠道的最佳适用场景，并将其行为与图特性联系起来。

###### 关键词：

图基础模型，上下文学习，表格基础模型，上下文检索，图机器学习，可扩展性

## I 引言

在大规模数据上预训练的基础模型已经改变了自然语言处理和计算机视觉，而图学习也一直在寻求类似的建模范式。图结构的这种迁移面临挑战：不同领域的数据集很少共享特征空间、度分布或标签语义，跨图迁移仍然困难[1 (https://arxiv.org/html/2609.05955#bib.bib1), 2 (https://arxiv.org/html/2609.05955#bib.bib2)]。表格基础模型在合成表上为上下文学习进行预训练，当每个节点被编码为一个特征行时，它们已成为有效的图学习器。G2T-FM[3 (https://arxiv.org/html/2609.05955#bib.bib3)]从原始属性、邻域特征聚合和结构编码构建这些行，然后使用冻结的先前数据拟合网络[4 (https://arxiv.org/html/2609.05955#bib.bib4), 5 (https://arxiv.org/html/2609.05955#bib.bib5)]进行节点预测。GraphPFN[6 (https://arxiv.org/html/2609.05955#bib.bib6)]则使用预训练的图注意力适配器来增强表格主干网络。在各种工业基准测试中，基于PFN的图模型已被证明在多个数据集上能够匹敌甚至超越精心调优的GNN[7 (https://arxiv.org/html/2609.05955#bib.bib7)]。

这些系统使用的提示相较于行表示或主干网络本身受到的关注较少。在ICL中，提示中的标记行在推理期间为模型提供监督，但G2T-FM和GraphPFN都将整个训练表用作上下文。GraphPFN指出其“当前实现需要一次处理整个数据集，这导致了显著的内存消耗”，并将子图采样列为未来工作[6 (https://arxiv.org/html/2609.05955#bib.bib6)]。G2T-TabPFNv2遇到了类似的限制：实际内存消耗随上下文大小和特征宽度增加，因此发布的GraphLand协议在完整特征预处理超出可用内存时使用PCA[3 (https://arxiv.org/html/2609.05955#bib.bib3)]。TAG[8 (https://arxiv.org/html/2609.05955#bib.bib8)]通过随机子采样标记行来限制提示，尽管随机子采样可以调节容量，但无法确定哪些行与当前查询相关。

全表默认方案同样代价高昂。跨上下文的注意力与标记行的数量呈二次方缩放，且对于每个预测批次都需要重新计算。对于基于适配器的主干网络，峰值内存还需覆盖常驻图标记，这意味着它取决于图本身、其特征和执行配置，而不仅仅是节点数。在第V-C节[呈现的匹配本地测量中，全图GraphPFN在50k节点的artnet-exp图上消耗19.59 GB内存，在57k节点的city-roads-M图上消耗7.71 GB内存，而相应的LoGIC配置分别消耗8.24 GB和5.73 GB。因此，问题不在于一个固定的节点数阈值。相反，全图常驻与输入图相关联，而检索子图接口则将常驻与显式查询、标记上下文和光晕预算相关联。随着图规模扩大，这种差异变得越来越重要。

因此，本文提出的问题是：给定一个冻结的表格主干网络和预算，哪些标记节点，以及哪些辅助非标记节点，应构成针对特定查询集的提示？

现有选择技术并未直接解决此问题。检索增强的表格ICL在特征空间中对行进行排序[9 (https://arxiv.org/html/2609.05955#bib.bib9), 10 (https://arxiv.org/html/2609.05955#bib.bib10), 11 (https://arxiv.org/html/2609.05955#bib.bib11)]，而忽略了图结构。图ICL的示范选择主要使用LLM主干网络进行研究，通常仅通过全局中心性、学习检索或依赖查询的邻域来选择少量示范[12 (https://arxiv.org/html/2609.05955#bib.bib12), 13 (https://arxiv.org/html/2609.05955#bib.bib13), 14 (https://arxiv.org/html/2609.05955#bib.bib14), 15 (https://arxiv.org/html/2609.05955#bib.bib15)]。在GraphICL自己的消融实验中，基于PageRank的选择未能超越随机选择[12 (https://arxiv.org/html/2609.05955#bib.bib12)]。这两个研究方向都不涵盖基于PFN的图基础模型，在这类模型中，上下文可能包含数千个标记行，并且对于适配器主干网络，必须以子图而非无序行集合的形式提供。第II节[对这些方向进行了详细探讨。

我们将上下文构建形式化为两种资源的预算化分配：k个标记上下文行和h个非标记*光晕*节点。标记预算控制监督证据，而光晕提供非标记节点用于适配器消息传递，而不占用标签容量。随后，我们介绍了LoGIC（局部聚类图上下文构建），这是一种具有三个评分通道的检索方法：个性化PageRank局部性、特征空间相似性和覆盖度采样。LoGIC为图局部集群中的所有查询共享每个检索到的上下文，从而将检索和编码成本分摊到多个查询上。检索通道和上下文预算被视为配置选项，并在无需测试标签的情况下选择。这种设计与图表格基础模型的进展相辅相成：它既不替换也不重新训练主干网络，而是提供了一个共享的推理接口，该接口限制了标记上下文，并在必要时限制了支撑子图。

参见图注 图 1：全上下文图ICL (a) 与预算化上下文构建 (b) 对比。LoGIC通过三个通道为每个图局部查询集群检索标记上下文，并为适配器主干网络添加非标记光晕。我们在GraphLand[16 (https://arxiv.org/html/2609.05955#bib.bib16)]上的实验涵盖了来自纯表格和图适配器家族的三个主干网络配置、三个检索通道以及从数百到数万行的预算。性能最高的通道因数据集而异。当标签在边上平滑时，图局部检索往往能实现最佳性能；而当边标签同配性显著为负时，覆盖度采样更受青睐。这些发现表明，合适的检索通道取决于图本身和可用的上下文预算。由于主干网络推理期间的峰值加速器内存主要受查询、标记上下文和光晕预算限制，因此相同的构建方式支持在各自的全上下文或全图协议下不可用的配置：在官方协议需要PCA截断时进行全特征推理，GraphPFN推理以有限的子图常驻性超越其发布的全图精度，以及在160万节点图上进行冻结的图ICL。图1[比较了这两种协议，实验将检索通道行为与上下文预算和可测量的图特性联系起来。

本文的主要贡献总结如下：
- • 我们认识并将其形式化为节点级图ICL的上下文构建问题，这是一个涉及标记上下文行和非标记光晕节点两种资源的预算化分配问题。
- • 我们引入了LoGIC，一个为适应多种图表格基础模型推理接口而开发的上下文构建框架，它集成了多通道检索、集群共享上下文以及用于图适配器主干网络的非标记光晕。它不修改主干网络参数或训练过程，并已为基于行和基于图适配器的推理实现。
- • 我们通过实证将检索通道行为与上下文预算和可测量的图特性联系起来。
- • 我们在八个GraphLand数据集和覆盖两个家族的三种主干网络配置上进行了广泛评估，在一致且可复现的协议下检验了预测性能、效率、可扩展性和受控消融实验。

## II 相关工作

### II-A 表格基础模型与上下文检索

TabPFN[4 (https://arxiv.org/html/2609.05955#bib.bib4), 5 (https://arxiv.org/html/2609.05955#bib.bib5)]将先前数据拟合网络定位为一个无需训练的表格预测框架，后续模型包括TabICL[17 (https://arxiv.org/html/2609.05955#bib.bib17)]、LimiX[18 (https://arxiv.org/html/2609.05955#bib.bib18)]和TabPFN-3[19 (https://arxiv.org/html/2609.05955#bib.bib19)]已将支持的上下文大小从数千行增加到数百万行。一个互补的研究方向是考察应将什么包含在上下文中。LoCalPFN[9 (https://arxiv.org/html/2609.05955#bib.bib9)]为每个查询获取kNN上下文，并在合成表上证明当完整表能放入提示时，局部上下文可以超越完整表。然而，对于真实表，行数限制排除了等效的完整上下文比较。TabDPT[10 (https://arxiv.org/html/2609.05955#bib.bib10)]将检索集成到预训练中，MixturePFN[11 (https://arxiv.org/html/2609.05955#bib.bib11)]将查询引导至提示专家，分块注意力[20 (https://arxiv.org/html/2609.05955#bib.bib20)]降低了长上下文的成本，CRUMB[21 (https://arxiv.org/html/2609.05955#bib.bib21)]（与本工作同期）将查询分组到集群中，并在每个集群内共享分布匹配的上下文。LimiX还提供了基于检索的集成，尽管它仍然遍历所有样本[18 (https://arxiv.org/html/2609.05955#bib.bib18)]。这些方法启发了冻结表格模型的上下文选择，但它们的选择信号是表格化的：行是通过特征空间或分布匹配来评估的，而非通过图结构。在语言模型设置中，示范选择同样被认识到可以改变冻结模型的行为；基于嵌入的检索[22 (https://arxiv.org/html/2609.05955#bib.bib22)]、学习的提示检索器[23 (https://arxiv.org/html/2609.05955#bib.bib23)]以及大量后续文献[24 (https://arxiv.org/html/2609.05955#bib.bib24)]记录了仅通过选择就能带来显著的准确率差异。

分块注意力和分布匹配批处理改进了表格PFN处理给定上下文的方式[20 (https://arxiv.org/html/2609.05955#bib.bib20), 21 (https://arxiv.org/html/2609.05955#bib.bib21)]。LoGIC解决了先前的决策问题：哪些标记的图节点应填充有界PFN上下文，以及对于适配器主干网络，哪些非标记节点应维持局部感受野。由此产生的上下文可以由内存高效的PFN实现处理，而无需修改LoGIC的图感知选择接口。

### II-B 表格基础模型作为图基础模型

G2T-FM[3 (https://arxiv.org/html/2609.05955#bib.bib3)]通过邻域特征聚合和结构编码将节点预测转化为表格ICL，而GraphPFN[6 (https://arxiv.org/html/2609.05955#bib.bib6)]则使用预训练的邻接掩码图注意力适配器扩展了基于LimiX的PFN主干网络。后续工作将表格基础模型用于异常检测[25 (https://arxiv.org/html/2609.05955#bib.bib25)]、使用构建的上下文进行链接预测[26 (https://arxiv.org/html/2609.05955#bib.bib26)]以及图表格化[27 (https://arxiv.org/html/2609.05955#bib.bib27)]。NodePFN则在合成图先验上使用局部消息传递预训练了一个图感知的PFN[28 (https://arxiv.org/html/2609.05955#bib.bib28)]。一项独立评估描述基于PFN的图基础模型在各种基准测试中与调优后的GNN具有竞争力，并且通常更强[7 (https://arxiv.org/html/2609.05955#bib.bib7)]。这些系统表明表格基础模型可以作为图基础模型发挥作用，尽管它们的标准推理协议仍然使用完整的训练上下文；GraphPFN还指出全图处理是其主要限制[6 (https://arxiv.org/html/2609.05955#bib.bib6)]。TAG[8 (https://arxiv.org/html/2609.05955#bib.bib8)]通过对标记行进行类别平衡的随机子采样来约束提示，提供了容量控制但没有图感知的检索策略。早期的图基础模型寻求通过其他途径实现迁移：PRODIGY[29 (https://arxiv.org/html/2609.05955#bib.bib29)]在提示图任务上预训练GNN，以实现跨图的少样本上下文学习，而跨域模型包括GFT[1 (https://arxiv.org/html/2609.05955#bib.bib1)]和GraphAny[2 (https://arxiv.org/html/2609.05955#bib.bib2)]通过...