当图标记成为汇点：图语言模型的机制分析

图语言模型（GLM）已成为将大型语言模型（LLM）应用于图学习任务的一个有前景的方向。通过将图拓扑和节点信息转换为图标记，GLM允许LLM联合处理结构化图输入和文本指令。然而，尚不清楚LLM如何在内部解释这些图标记，以及图标记是否作为图结构的有意义载体。在这项工作中，我们分析了LLM如何在代表性GLM架构中通过图标记行为处理图信息。 发现。我们发现，GLM中图标记的内部显著性与图信息利用并不等价。图汇点标记始终作为激活层面的异常值出现：它们可以通过在少量隐藏状态维度上的巨大激活值来识别，并且偏向于早期图标记位置。然而，这种激活层面的显著性并不意味着这些标记是图信息的主要载体。与语言和视觉语言模型中的经典注意力汇点不同，图汇点标记不一定从查询标记中吸引最大的注意力权重。通过剪枝、重新定位和交换干预，我们表明图汇点标记对于下游预测并不是最重要的语义或结构标记。 启示。综合来看，这些结果表明，在当前GLM将图结构映射到LLM标记空间后，生成的图标记表示并未自然形成完全可用的拓扑感知内部表示；相反，它们表现出激活层面的显著性与图语义效用之间的解耦。这种解耦指出了现有图标记构建、放置和对齐机制的局限性。