融合与独立的协同：超复数驱动的鲁棒多模态知识图谱补全

# 融合与独立的协作：超复数驱动的鲁棒多模态知识图谱补全  
来源：https://arxiv.org/html/2509.23714  

Zhiqiang Liu¹,³, Yichi Zhang²,³, Mengshu Sun⁴, Lei Liang⁴, Wen Zhang¹,³  

¹ 浙江大学软件技术学院  
² 浙江大学计算机科学与技术学院  
³ 浙江大学-蚂蚁集团知识图谱联合实验室  
⁴ 蚂蚁集团  

{zhiqiangliu,zhang.wen}@zju.edu.cn  

###### 摘要  

多模态知识图谱补全（MMKGC）旨在通过利用结构关系和实体的多种模态信息来发现多模态知识图谱（MMKG）中缺失的事实。现有的MMKGC方法遵循两种多模态范式：基于融合的和基于集成的。基于融合的方法采用固定的融合策略，这不可避免地导致模态特定信息的丢失，并且缺乏灵活性以适应不同上下文中模态相关性的变化。相比之下，基于集成的方法通过专用子模型保留模态独立性，但难以捕捉模态之间细微的、上下文相关的语义交互。为了克服这些双重限制，我们提出了一种新颖的MMKGC方法M-Hyper，该方法实现了融合与独立模态表征的共存与协作。我们的方法整合了两种范式的优势，能够在保持模态特定信息的同时实现有效的跨模态交互。受“四元数”代数的启发，我们利用其四个正交基来表示多个独立模态，并采用哈密顿积来高效建模它们之间的成对交互。具体来说，我们引入了细粒度实体表征分解（FERF）模块和鲁棒关系感知模态融合（R2MF）模块，以获得三个独立模态和一个融合模态的鲁棒表征。然后将得到的四个模态表征映射到双四元数的四个正交基上，以实现全面的模态交互。大量实验表明其具有最先进的性能和更好的鲁棒性。我们的数据集和代码可在[https://github.com/zjukg/M-Hyper](https://github.com/zjukg/M-Hyper)获取。  

# 融合与独立的协作：超复数驱动的鲁棒多模态知识图谱补全  

Zhiqiang Liu¹,³, Yichi Zhang²,³, Mengshu Sun⁴, Lei Liang⁴, Wen Zhang¹,³††通讯作者。  

¹ 浙江大学软件技术学院  
² 浙江大学计算机科学与技术学院  
³ 浙江大学-蚂蚁集团知识图谱联合实验室  
⁴ 蚂蚁集团  

{zhiqiangliu,zhang.wen}@zju.edu.cn  

## 1 引言  

多模态知识图谱（MMKG）[Liu et al. (2019)](https://arxiv.org/html/2509.23714#bib.bib40) 通过引入额外的多模态信息扩展了传统知识图谱，使其成为更强大的知识表示工具[Chen et al. (2024)](https://arxiv.org/html/2509.23714#bib.bib13)。这使得MMKG在包括推荐系统[Wang et al. (2019a)](https://arxiv.org/html/2509.23714#bib.bib35)和自然语言处理[Chen et al. (2023b)](https://arxiv.org/html/2509.23714#bib.bib37)；[Liu et al. (2025)](https://arxiv.org/html/2509.23714#bib.bib31)在内的各种应用中具有价值。然而，像传统的单模态知识图谱[Liu et al. (2024)](https://arxiv.org/html/2509.23714#bib.bib30)一样，MMKG也存在信息不完整的问题[Xie et al. (2017)](https://arxiv.org/html/2509.23714#bib.bib21)；这个问题已通过多模态知识图谱补全（MMKGC）方法得到改善。  

参见图1的说明。  

**图1：** 一个简单的示例说明了M-Hyper与现有范式的区别。  

如图1所示，现有的MMKGC方法分为两种范式：基于融合的和基于集成的。基于融合的方法[Zhang et al. (2025a)](https://arxiv.org/html/2509.23714#bib.bib39)通过显式的融合模块或专门的跨模态损失函数实现跨模态交互。然而，它们对固定融合策略的依赖往往导致次优的表示：关键的独特模态线索可能在融合过程中丢失，并且模型难以灵活适应不同推理上下文中变化的模态显著性和协同作用。相反，基于集成的方法[Li et al. (2023)](https://arxiv.org/html/2509.23714#bib.bib25)通过使用独立的子模型保留模态特定特征，但不可避免地无法捕捉对复杂推理场景至关重要的细微模态间依赖和交互。这突显了一个基本挑战：MMKG中的模态需求表现出动态的、上下文相关的和任务特定的贡献，因此僵化地遵循独立或完全融合的范式对MMKGC模型的表达能力和适应性构成了重大限制。因此，我们提出以下研究问题：是否可能开发一种结合两种范式优势的方法，既能适应融合和独立模态的需求，又能动态地实现全面的跨模态交互？  

为了解决这些限制，我们引入了M-Hyper，这是第一个在超复数空间中对MMKG进行建模的方法。受四元数代数的启发，其中四个正交基元素保持线性独立，M-Hyper明确分离不同的模态表示以保留原始模态信息，并利用哈密顿积促进模态间的全面成对交互。为了增强模态表示的鲁棒性，我们设计了两个新颖的模块：细粒度实体表示分解（FERF）模块，为三个独立模态生成鲁棒表示；以及鲁棒关系感知模态融合（R2MF）模块，生成一个鲁棒的融合模态表示。这四个表示被映射到双四元数的四个正交基上，并使用基于双四元数的评分函数来完全捕获跨模态语义信息。实验结果表明，我们的M-Hyper在三个MMKGC数据集上取得了最先进的性能，并表现出高鲁棒性和计算效率。  

我们的贡献可以总结如下：  

- • 我们指出了现有MMKGC范式的局限性，并提出了一种新颖的基于双四元数的表示方法，同时保留个体和融合模态。  
- • 我们提出了M-Hyper，这是第一个在超复数（双四元数）空间中运行的MMKGC方法，实现了融合和独立模态表示的鲁棒共存与协作。  
- • 在三个MMKGC基准上的广泛实证评估表明，M-Hyper优于18种现有基线方法，展现出卓越的鲁棒性和计算效率。  

## 2 相关工作  

### 2.1 基于超复数的知识图谱嵌入  

知识图谱嵌入（KGE）旨在将实体和关系投影到连续向量空间中，以捕获复杂的关系模式。经典的KGE方法包括翻译模型（例如TransE [Bordes et al. (2013)](https://arxiv.org/html/2509.23714#bib.bib14)）和语义匹配模型（例如ComplEx [Trouillon et al. (2016)](https://arxiv.org/html/2509.23714#bib.bib19)）。为了增强表示能力[Liang et al. (2024)](https://arxiv.org/html/2509.23714#bib.bib38)，引入了超复数空间：QuatE [Zhang et al. (2019)](https://arxiv.org/html/2509.23714#bib.bib10)首先将嵌入扩展到四元数空间，改善了对对称性和层次结构的建模。随后，DualE [Cao et al. (2021)](https://arxiv.org/html/2509.23714#bib.bib11)和BiQUE [Guo and Kok (2021)](https://arxiv.org/html/2509.23714#bib.bib12)进一步推广到双四元数和双四元数空间，通过平移和旋转支持更丰富的关系组合。超复数表示对层次、对称和复杂的关系结构表现出强表达力，并且最近已应用于更高级的KGC场景[Chung and Whang (2023)](https://arxiv.org/html/2509.23714#bib.bib9)。然而，先前基于超复数的方法仅关注单模态知识图谱，它们在处理丰富的多模态语义方面的潜力尚未被充分探索。相比之下，我们的方法是第一个利用双四元数空间进行MMKG的方法，同时支持多模态和复杂的关系变换。  

### 2.2 多模态知识图谱补全  

现有的多模态知识图谱补全（MMKGC）方法通过集成各种模态（例如MMKG中的结构信息，以及实体的图像和文本信息）来扩展传统的KGC模型。从多模态建模的角度来看，当前的MMKGC方法可以分为多模态融合方法和多模态集成方法。  

多模态融合方法旨在设计复杂的多模态融合模块以实现模态对齐。早期的模态融合方法如IKRL [Xie et al. (2017)](https://arxiv.org/html/2509.23714#bib.bib21)和TransAE [Wang et al. (2019b)](https://arxiv.org/html/2509.23714#bib.bib22)通过引入跨模态损失函数实现了高效的模态融合，展示了跨模态交互的有效性。此外，研究社区继续提出更复杂的模态融合设计，采用先进技术，例如使用最优传输的OTKGE [Cao et al. (2022)](https://arxiv.org/html/2509.23714#bib.bib24)、使用对抗训练的AdaMF [Zhang et al. (2024)](https://arxiv.org/html/2509.23714#bib.bib36)和使用细粒度多模态标记化的MyGO [Zhang et al. (2025a)](https://arxiv.org/html/2509.23714#bib.bib39)。然而，这些模态融合方法很少保留独立模态，并且过度依赖固定的融合策略。因此，这种范式在模态融合阶段不可避免地引入信息损失，并且难以适应推理阶段灵活的多模态需求。  

相反，经典的模态集成方法如MoSE [Zhao et al. (2022)](https://arxiv.org/html/2509.23714#bib.bib20)通常为不同模态设计独立的子模型，并将这些子模型获得的独立表示进行集成以进行联合决策。随后，IMF [Li et al. (2023)](https://arxiv.org/html/2509.23714#bib.bib25)利用张量分解融合多模态信息，并在模态集成方法中引入了联合模态的子模型。我们认为这是实现同时包含融合和独立模态的联合决策的一个有希望的起点。之后，MoMoK [Zhang et al. (2025b)](https://arxiv.org/html/2509.23714#bib.bib3)遵循这个思路，通过MoE网络并最小化它们的互信息来解耦模态表示。然而，在多模态集成范式下，子模型缺乏明确的全面跨模态交互机制，从而限制了它们的整体建模能力。  

## 3 预备知识  

四元数系统最早由[Hamilton (1844)](https://arxiv.org/html/2509.23714#bib.bib8)提出，以扩展复数。四元数的代数表示通常表示为：  

Q = a⋅1 + b⋅i + c⋅j + d⋅k， (1)  

其中系数 a 是表示实部的实数，系数 b, c, d 是表示虚部的实数，而 1, i, j, k 是正交基向量或基元素，满足以下乘法性质：  

i⋅1 = 1⋅i = i，j⋅1 = 1⋅j = j，k⋅1 = 1⋅k = k，  
i² = j² = k² = −1，  
ij = −ji = k，jk = −kj = i，ki = −ik = j，  
ijk = −1。  

**哈密顿积** 可视为“四元数乘法”，由四元数中所有因子的标准乘法组成，定义为：  

Q₁ ⊗ Q₂ = (a₁a₂ − b₁b₂ − c₁c₂ − d₁d₂)  
 + (a₁b₂ + b₁a₂ + c₁d₂ − d₁c₂)i  
 + (a₁c₂ − b₁d₂ + c₁a₂ + d₁b₂)j  
 + (a₁d₂ + b₁c₂ − c₁b₂ + d₁a₂)k。 (2)  

**双四元数** 进一步扩展了四元数，其代数可视为张量积 C ⊗ᴿ H，其中 C 是复数域，H 是（实）四元数的除法代数。双四元数将四元数的系数扩展到复数，表示为：  

Q = (aᵣ + aᵢI) + (bᵣ + bᵢI)i + (cᵣ + cᵢI)j + (dᵣ + dᵢI)k， (3)  

其中 I 是复数域 C 的虚数单位，满足 I² = −1。代数 C ⊗ᴿ H 满足交换关系 Ii = iI，Ij = jI，Ik = kI。  

**双四元数的哈密顿积** 可视为四元数哈密顿积的扩展。类似地，对于两个双四元数 Q₁ = a₁ + b₁i + c₁j + d₁k = (aᵣ,₁ + aᵢ,₁I) + (bᵣ,₁ + bᵢ,₁I)i + (cᵣ,₁ + cᵢ,₁I)j + (dᵣ,₁ + dᵢ,₁I)k 和 Q₂ = a₂ + b₂i + c₂j + d₂k = (aᵣ,₂ + aᵢ,₂I) + (bᵣ,₂ + bᵢ,₂I)i + (cᵣ,₂ + cᵢ,₂I)j + (dᵣ,₂ + dᵢ,₂I)k，乘法完全按照公式(2)对四元数进行，但所有系数被视为复数（且 I² = −1）。也就是说，哈密顿积的定义方式相同，系数之间的加法和乘法在复数域 C 中进行。  

参见图2的说明。  

**图2：** M-Hyper的概览，它集成了细粒度实体表示分解（FERF）模块和鲁棒关系感知模态融合（R2MF）模块，以学习三种模态及其融合的鲁棒表示，从而在超复数空间中进行统一的多模态知识图谱建模。  

## 4 方法论  

在本节中，我们介绍 M-Hyper，它在超复数空间中对多模态知识图谱（MMKG）进行建模。如图2所示，