graph-transformers

本文研究了为何图 Transformer 相比大语言模型很少形成注意力汇聚现象，并表明注意力评分函数——而非图结构——是主要原因：将 GRIT 的门控 logit 替换为点积注意力后，其注意力汇聚率从 0.09 升至 0.68。

Quartet介绍了一种采用四分支交叉注意力和因果随机游走采样器的图Transformer架构，以提升在关系图任务上的性能，超越了诸如RelGT和HGT等最先进的基准模型。

PatchSTG 提出了一种基于补丁的时空图变换器，用于不规则传感器网络的交通预测，实现了近线性复杂度并保持了有竞争力的性能。