GHI: 基于条件超图关联的Graphormer用于面向方面的情感分析

# GHI：基于条件超图关联的Graphormer方法用于方面级情感分析

来源：https://arxiv.org/html/2605.22228
余 杜 齐齐哈尔大学 2025936317@qqhru\.edu\.cn &朱文龙 齐齐哈尔大学 zwl\_qqhr@qqhru\.edu\.cn &李星泽 齐齐哈尔大学 2025936326@qqhru\.edu\.cn 曹成龙 齐齐哈尔大学 2025936311@qqhru\.edu\.cn &王静 齐齐哈尔大学 2025912341@qqhru\.edu\.cn &马玉坤 齐齐哈尔大学 2024935328@qqhru\.edu\.cn

###### 摘要

方面级情感分析（ABSA）要求模型将情感证据绑定到正确的目标方面，因此是细粒度结构推理的理想测试平台。我们提出GHI，一个基于条件超图关联的Graphormer框架，该框架被设计为基于关联的结构推理层，构建在二分拓扑之上。GHI将多种语言和语义证据表示为token-超边关联关系，允许通过统一接口整合不同的结构信号。在六个标准ABSA基准上的大量实验表明，GHI在SemEval领域上优于所有基线，且多次种子的评估显示其在强DeBERTa基础上具有稳定的改进。进一步实验表明，仅用247M参数，GHI接近基于11B Flan-T5的方法在ISE基准上的性能。此外，GHI在具有挑战性的ARTS数据集上表现出很强的鲁棒性，在传统模型性能下降的情况下仍保持极具竞争力的表现。这些结果表明，对于细粒度任务而言，紧凑的结构推理仍然是规模驱动方法之外的一个有价值的替代方案。

GHI：基于条件超图关联的Graphormer方法用于方面级情感分析

余 杜 齐齐哈尔大学 2025936317@qqhru\.edu\.cn 朱文龙 齐齐哈尔大学 zwl\_qqhr@qqhru\.edu\.cn 李星泽 齐齐哈尔大学 2025936326@qqhru\.edu\.cn

曹成龙 齐齐哈尔大学 2025936311@qqhru\.edu\.cn 王静 齐齐哈尔大学 2025912341@qqhru\.edu\.cn 马玉坤 齐齐哈尔大学 2024935328@qqhru\.edu\.cn

## 1 引言

方面级情感分析（ABSA）旨在预测给定方面词或目标实体的情感极性（Zhang等人，2023 (https://arxiv.org/html/2605.22228#bib.bib8)）。与句子级情感分类不同，ABSA是一个细粒度的证据绑定任务，要求模型能够在同一句子中区分不同的观点线索。例如，如图1 (https://arxiv.org/html/2605.22228#S1.F1)所示，句子对“GPU”表达积极情感“great”，而对“price”表达消极情感“expensive”，要求模型将每个观点线索绑定到正确的方面。

参照图注 图1：一个包含两个不同方面（蓝色标记）和观点证据（红色标记）的示例句子。该句子已经经过依存句法解析预处理。更根本地，为了进一步区分不同的证据绑定模式，ABSA需要来自不同方向的多样复杂结构表示。在局部上下文方向，Zeng等人 (2019 (https://arxiv.org/html/2605.22228#bib.bib39)) 将注意力限制在方面为中心的窗口内，使模型关注附近的观点词。最近的融合模型进一步将语义注意力与句法结构相结合，例如，Jin等人 (2025 (https://arxiv.org/html/2605.22228#bib.bib27)) 使用方面NA和自适应层次交叉注意力来整合语义和依赖感知特征。另一个方向主要关注图结构。具体而言，Yin 和 Zhong (2024 (https://arxiv.org/html/2605.22228#bib.bib10)) 将图视图的消息传递与序列视图的Transformer建模耦合，共同捕捉句法连通性和语义交互。

纵观现有方法，引入高阶关系或注入复杂结构的ABSA方法可以被看作是帮助模型识别和组织与方面相关的证据。此外，大多数方法都在孤立的视图中设计每种证据来源。这一观察提出了一个一般性问题：ABSA能否从一个通用的结构框架中受益，通过该框架可以表示、扩展和推理多种证据？

为了清晰阐述，我们需要一个既具备多种表示能力又具备可扩展性的结构。因此，超图提供了一个自然的候选（Feng等人，2019 (https://arxiv.org/html/2605.22228#bib.bib43)）。如图2 (https://arxiv.org/html/2605.22228#S1.F2)所示，其超边设计使得异质的token组可以在共享的证据单元下连接，且从图继承的结构属性使其可以扩展到新的证据源。同时，最近的研究尝试构建词级关系超图来建模ABSA的高阶关系，进一步展示了它们在高级推理方面的潜力（Ouyang等人，2024a (https://arxiv.org/html/2605.22228#bib.bib11); Ju等人，2025 (https://arxiv.org/html/2605.22228#bib.bib12); Kashyap等人，2025 (https://arxiv.org/html/2605.22228#bib.bib13)）。

参照图注 图2：针对方面“price”的超图视角。每个彩色椭圆表示连接多个token作为一个证据单元的超边。然而，为了建模如此复杂结构，仍然缺乏有效整合多级信息的方法。另一个直接挑战是，当尝试合并新知识时，修改图结构通常是困难的。幸运的是，先前的研究已经证明了全局注意力和动态可扩展性在复杂图结构上的潜力。例如，Ying等人 (2021 (https://arxiv.org/html/2605.22228#bib.bib14)) 提出了Graphormer，它利用节点之间的最短路径距离（SPD）实现对复杂图结构的全局注意力。同时，在计算机视觉领域，Lei等人 (2025 (https://arxiv.org/html/2605.22228#bib.bib15)) 引入了HyperACE的概念。这项工作展示了自适应超边机制如何在实际中运作，为超图的可扩展性提供了新的见解。

基于这些进展，我们提出了GHI，一个基于Graphormer和超图关联的ABSA框架。GHI将多种证据表示为token-超边关联关系，从而可以通过统一接口整合不同的结构信号，同时保持下游推理层不变。在我们的ABSA实例化中，GHI使用了一小组标准的ABSA先验知识，包括方面跨度、方面相关局部区域和依赖邻域，并用上下文条件自适应的超边补充样本特定的潜在证据。此外，通过将超边提升为显式节点，GHI在二分星形扩展的token-超边图上执行Graphormer风格的推理。

总而言之，我们工作的主要贡献如下：

- • 我们提出了GHI，一个基于关联的结构推理框架，用于ABSA。GHI将语言和语义证据表示为token-超边关联关系，提供了一个统一接口，可以自然地容纳不同的结构信号，而无需特定于源的推理分支。
- • 我们引入了一个基于静态-自适应超图设计的二分星形扩展Graphormer。通过将多样证据提升为显式推理节点，GHI将token-超边关联关系转化为二分拓扑，并在其上应用Graphormer风格的全局注意力。
- • 我们在标准ABSA基准、隐式情感评估（ISE）和对抗鲁棒性测试（ARTS）上进行了全面评估。结果表明，GHI不仅优于强基线，而且对复杂的语言变异表现出稳健的性能。

## 2 方法论

### 2.1 概述

参照图注 图3：所提出的GHI框架的整体架构。静态ABSA先验知识，包括方面（红色）、SRD/局部上下文（蓝色）和依赖（绿色）超边，按源用颜色区分，并与自适应超边一起在token-超边关联结构中表示。虚线表示用于token-超边传播的软关联权重，而橙色Top-KK链接定义了稀疏的硬关联拓扑。紫色双向箭头表示对整个二分token-超边图的Graphormer风格全局注意力。我们提出GHI，一个基于Graphormer的条件超图关联框架，用于ABSA。GHI将结构先验知识和自适应语义簇提升为显式节点，从而形成一个二分星形扩展图，用于全局Graphormer注意力（由紫色箭头表示）。如图3 (https://arxiv.org/html/2605.22228#S2.F3)所示，该框架作为一个统一的关联级路由层，其中不同的颜色区分不同的证据源。

具体来说，GHI为确定性的语言证据构建静态超边，并为基于上下文锚点条件化的自适应超边构建结构。通过软和硬Top-KK关联视图，软关联支持可微的token-超边传播，而硬Top-KK关联实例化了一个带有结构偏置的稀疏星形扩展拓扑，用于Graphormer推理。

### 2.2 任务定义与编码

给定一个方面跨度a=\[l,r\)在一个序列x=\[x\_1, ..., x\_N\]中，以及一个情感标签y∈Y，ABSA旨在预测针对给定方面表达的情感极性。对于预训练编码器，使用句子-方面对作为输入，同时仅保留原始句子token的上下文状态H^0用于图推理。我们对句子-方面对进行编码以获得上下文表示：

H^0=\[h\_1^0, ..., h\_N^0\] = Enc(x,a),  (1)

其中H^0∈R^{N×d}，半开区间\[l, r\)表示从x\_l到x\_{r-1}的目标方面token。

图推理仅对有效的句子token进行操作。使用二值掩码m∈{0,1}^N，句子锚点初始化为c^0=Pool\_m(H^0)，其中Pool\_m(·)是有效token上的平均池化；方面锚点初始化为a^0=Pool\_{[l,r)}(H^0)，其中Pool\_{[l,r)}(·)是目标方面跨度上的平均池化。

### 2.3 条件超图关联

GHI的核心是条件超图关联表示。在层l，我们在当前token状态H^l上定义一个超图G^l=(V, E^l, I^l)，其中V是token节点集，E^l是超边集，I^l∈R^{|V|×|E^l|}是token-超边关联矩阵。GHI结合了任务指导的静态超边和上下文条件化的自适应超边。句子和方面锚点作为逐层记忆维护，在每个推理层l之后，通过门控MLP更新为c^{l+1}, a^{l+1} = AnchorUpdate(c^l, a^l, H^{l+1})，其中AnchorUpdate(·)表示对方面级池化区域进行门控MLP更新。

#### 静态超边

我们首先从三个静态超边先验知识构建二值关联矩阵I^sta。方面超边e\_asp连接目标跨度内的所有token：e\_asp={i | l ≤ i < r}。为了编码以方面为中心的局部上下文，我们遵循Zeng等人 (2019 (https://arxiv.org/html/2605.22228#bib.bib39)) 计算语义相对距离（SRD）d\_i = max(0, |i - (l+r-1)/2| - floor((r-l)/2))。然后将此先验知识实例化为一个局部上下文超边e\_srd，连接半径ρ内的token：e\_srd={i | m\_i=1, d\_i ≤ ρ}。然后，依赖超边e\_dep收集在依赖图上T跳内可从方面token到达的token：e\_dep={i | m\_i=1, dist\_dep(i, e\_asp) ≤ T}。词级依赖边被投影到子词以与编码器输出对齐。综合起来，这些先验知识形成一个静态关联矩阵I^sta∈R^{|V|×S}，其中S表示静态超边的数量。

#### 自适应超边

静态超边提供了可靠的任务先验知识，但它们无法覆盖所有样本特定的观点模式。为了补充它们，GHI在每一层引入一小部分自适应超边，条件化于局部精炼的token状态和当前的锚点记忆c^l和a^l。如图3 (https://arxiv.org/html/2605.22228#S2.F3)的右上部分所示，自适应超边原型生成M个自适应超边，并进一步形成一个软token-超边关联矩阵I^l\_ad∈R^{|V|×M}：

I^l\_ad = AdaptiveIncidence(Ỹ^l, c^l, a^l),  (2)

其中AdaptiveIncidence(·)表示自适应关联生成器。其基于原型的参数化在附录6 (https://arxiv.org/html/2605.22228#A2.F6)中给出。

自适应关联与静态关联矩阵拼接，以支持可微的token-超边传播，通常形成一个软关联矩阵I^l\_soft∈R^{|V|×(S+M)} = [I^sta, I^l\_ad]。同时，我们为每个自适应超边保留Top-KK个token，以获得一个稀疏的硬关联矩阵I^l\_hard∈R^{|V|×(S+M)} = [I^sta, TopK(I^l\_ad)]，它实例化了用于Graphormer推理的二分星形扩展拓扑。

### 2.4 GHI推理层

GHI在条件关联结构上堆叠L个推理层。逐层计算流程在附录B.2 (https://arxiv.org/html/2605.22228#A2.SS2)中给出。通过将token和超边都视为显式推理节点，每一层耦合了token-超边推理的两个互补视图：软关联视图支持在分级token-超边隶属度上进行可微传播，而硬关联视图实例化了一个稀疏的token-超边二分拓扑。这个星形扩展图允许Graphormer风格的注意力在一个共享的结构空间内建模token-token、token-超边和超边-超边之间的交互。

#### 局部上下文精炼

在构建自适应关联之前，GHI应用局部窗口自注意力来精炼短程token交互。给定图可见掩码m和窗口大小w，LocalAttn(·)将多头自注意力限制在满足m\_i=m\_j=1且|i-j|