MA-DAR：面向持续时序知识图谱推理的流形对齐动态自适应路由

# MA-DAR：用于连续时序知识图谱推理的流形对齐动态自适应路由
来源：https://arxiv.org/html/2607.21949
Xiangjun Shi1, Chong Mu1, Jinchuan Zhang1,\*, Lizong Zhang1, Yuefeng He1, Shang Liu1

###### 摘要

连续时序知识图谱 \(TKG\) 推理旨在持续纳入新出现的事实，同时保留先前获取的知识。基于重放的持续学习通过回顾历史表征取得了有前景的性能。然而，现有方法主要关注重放什么，而很大程度上忽略了如何将重放表征与当前表征进行集成。这种直接集成常常引发两种关键的表征冲突：**范数支配**和**语义模糊**，最终降低持续推理性能。为应对这些挑战，我们提出 MA-DAR（流形对齐动态自适应路由），一种轻量级即插即用的重放表征融合框架。MA-DAR 首先将重放和当前表征对齐到共享流形，以缓解分布差异。接着，它采用动态门控机制学习维度级融合权重，自适应地确定重放和当前表征对融合表征的贡献。此外，极化正则化器通过抑制模糊的门控决策，鼓励更果断的路由行为，从而实现更稳定和有效的知识集成。在四个公开连续 TKG 基准上的大量实验表明，MA-DAR 持续提升了代表性 TKG 编码器的性能，并在不同重放设置下保持有效性。全面的消融研究和可视化分析进一步验证了流形对齐和动态自适应路由在缓解表征冲突和改善持续推理方面的有效性。

## 引言

时序知识图谱 \(TKGs\) 已成为捕捉事实随时间演化动态的高效结构，支撑着事件预测和智能风险分析等关键下游应用\(Huanget al.2024 (https://arxiv.org/html/2607.21949#bib.bib14); Chenet al.2024a (https://arxiv.org/html/2607.21949#bib.bib13); Zheng and Cai2020 (https://arxiv.org/html/2607.21949#bib.bib43)\)。TKG 将事实表示为主体、关系、客体和时间戳组成的四元组序列。该领域的主要挑战是外推推理：基于历史拓扑模式推断未来未见时间戳上的缺失事实\(Lacroixet al.2020 (https://arxiv.org/html/2607.21949#bib.bib5); Goelet al.2020 (https://arxiv.org/html/2607.21949#bib.bib7); Liet al.2021 (https://arxiv.org/html/2607.21949#bib.bib8); Jinet al.2020 (https://arxiv.org/html/2607.21949#bib.bib6)\)。

现实世界的 TKG 数据通常以连续的流式快照形式到达。在此类流式图上进行顺序训练会自然引发灾难性遗忘\(Kirkpatricket al.2017 (https://arxiv.org/html/2607.21949#bib.bib15)\)，即模型突然丢失先前获取的历史依赖关系。为解决此问题，大量工作致力于更新图编码器以捕获更丰富、更具表现力的结构表征。例如，RE-GCN 建模局部结构演化\(Liet al.2021 (https://arxiv.org/html/2607.21949#bib.bib8)\)，TiRGN\(Liet al.2022 (https://arxiv.org/html/2607.21949#bib.bib9)\)整合了局部-全局历史模式，LogCL\(Menget al.2023 (https://arxiv.org/html/2607.21949#bib.bib36)\)引入对比学习以缓解数据稀疏性。同时，经验重放方法试图通过在增量更新期间回顾过去信息来保留历史知识。例如，ER\(Rolnicket al.2019 (https://arxiv.org/html/2607.21949#bib.bib18)\)通过存储和重演历史事实的原始子集来缓解遗忘，而 DGAR\(Zhanget al.2025b (https://arxiv.org/html/2607.21949#bib.bib1)\)则探索生成式重放，通过扩散模型生成伪历史分布。

然而，现有基于重放的方法主要关注重放什么，较少关注如何将重放表征与当前表征进行集成。大多数基线依赖全局标量权重或线性拼接来合并历史重放表征与当前拓扑更新\(Wuet al.2021 (https://arxiv.org/html/2607.21949#bib.bib21); Cuiet al.2023 (https://arxiv.org/html/2607.21949#bib.bib22)\)。这种粗粒度的融合策略忽略了高维嵌入的语义复杂性，导致两种关键的表征冲突：**范数支配**和**语义模糊**。具体而言，生成式重放方法如 DGAR\(Zhanget al.2025b (https://arxiv.org/html/2607.21949#bib.bib1)\)可能在重构历史嵌入时引入尺度差异，导致重放表征在融合过程中占据主导地位。如图1 (https://arxiv.org/html/2607.21949#Sx1.F1)(a) 所示，这种幅度失衡削弱了表征集成过程中当前结构更新的贡献。同时，缺乏维度感知约束时，传统门控机制往往产生接近 0.5 的模糊权重，导致历史信息与当前动态之间的分离不充分，最终模糊了合成语义空间。

参考图注图 1:TKG 推理中特征融合机制的对比。本文提出流形对齐动态自适应路由 (MA-DAR)。与标准的端到端架构不同，MA-DAR 作为一种通用的即插即用路由插件，将重放表征融合与当前步骤的结构编码解耦。如图1 (https://arxiv.org/html/2607.21949#Sx1.F1)(b) 所示，MA-DAR 建立双数据接口，以接收来自任意基础编码器（如 RE-GCN、TiRGN、LogCL）的当前时间状态和由独立重放模型提供的长期历史表征，并在其自身模块内执行局部特征校正。为克服融合瓶颈，MA-DAR 插件执行紧凑的操作序列：流形对齐首先对历史和当前表征进行归一化，以映射它们避免范数支配；动态门控随后通过为各个维度计算不同权重来对齐语义；最后，极化惩罚对融合过程进行正则化，强制做出明确的二元式保留决策。

我们的贡献总结如下：

- •我们提出 MA-DAR 框架，一种轻量级且即插即用的重放表征融合框架，识别并缓解了连续 TKG 推理中两种关键的表征冲突，即**范数支配**和**语义模糊**。
- •我们在插件内部设计了一个多阶段路由协议，融合了流形对齐、动态门控和可微分的极化惩罚，以消除范数差异并实现清晰的、二元式的特征解耦。
- •我们在多个连续 TKG 基准上进行了广泛评估，证明 MA-DAR 在不同重放设置和 TKG 编码器下均达到最先进性能，同时保持有效性。

## 相关工作

### 专门架构优化

传统和早期的时序知识图谱推理方法通过静态时间嵌入\(Bordeset al.2013 (https://arxiv.org/html/2607.21949#bib.bib2); Leblay and Chekol2018 (https://arxiv.org/html/2607.21949#bib.bib3); Dasguptaet al.2018 (https://arxiv.org/html/2607.21949#bib.bib4)\)或自回归序列层\(Jinet al.2020 (https://arxiv.org/html/2607.21949#bib.bib6)\)捕获演化动态。随后，基于结构 GNN 的消息传递方案变得流行，RE-GCN 捕获局部演化\(Liet al.2021 (https://arxiv.org/html/2607.21949#bib.bib8)\)，TiRGN 建模局部-全局周期模式\(Liet al.2022 (https://arxiv.org/html/2607.21949#bib.bib9)\)。最近，深度调优范式引入了先进的多粒度和对比正则化器以缓解拓扑稀疏性\(Xuet al.2023 (https://arxiv.org/html/2607.21949#bib.bib11); Menget al.2023 (https://arxiv.org/html/2607.21949#bib.bib36); Chenet al.2024b (https://arxiv.org/html/2607.21949#bib.bib12); Wanget al.2024b (https://arxiv.org/html/2607.21949#bib.bib42)\)，而其他方法则利用双重对应或潜在关系关联来挖掘周期模式\(Lianget al.2023 (https://arxiv.org/html/2607.21949#bib.bib38); Zhanget al.2023b (https://arxiv.org/html/2607.21949#bib.bib39)\)。为捕获未观察到的拓扑，当代架构引入多图卷积或历史相关事件结构以动态剪枝依赖路径\(Zhanget al.2024 (https://arxiv.org/html/2607.21949#bib.bib41),2025a (https://arxiv.org/html/2607.21949#bib.bib37)\)。尽管具有强大的结构编码能力，这些模型普遍缺乏显式的记忆保留机制；连续的流式更新可能逐渐覆盖先前捕获的模式，导致灾难性遗忘。

### 正则化与蒸馏

基于正则化的范式通过惩罚参数或表征偏差来保留历史权重位置\(Kirkpatricket al.2017 (https://arxiv.org/html/2607.21949#bib.bib15); Zenkeet al.2017 (https://arxiv.org/html/2607.21949#bib.bib17); Aljundiet al.2018 (https://arxiv.org/html/2607.21949#bib.bib34)\)。早期对齐方法通过嵌入坐标跟踪强制一致性\(Wanget al.2019 (https://arxiv.org/html/2607.21949#bib.bib19)\)。在图域中，这些约束表现为时间一致性度量\(Wuet al.2021 (https://arxiv.org/html/2607.21949#bib.bib21)\)、对扩展结构的\(L2L_{2}\)范数惩罚\(Cuiet al.2023 (https://arxiv.org/html/2607.21949#bib.bib22)\)，或专门去偏路径以对抗虚假遗忘\(Zhuet al.2025a (https://arxiv.org/html/2607.21949#bib.bib26)\)。

除权重惩罚外，知识蒸馏和演化标记充当结构正则化器，继承了无遗忘学习的基本原理\(Li and Hoiem2017 (https://arxiv.org/html/2607.21949#bib.bib33)\)。现代变体通过离线教师的增量蒸馏来对齐增量图\(Liuet al.2024 (https://arxiv.org/html/2607.21949#bib.bib23)\)，或通过尺度感知的逐步演进来处理实体增长\(Liet al.2025 (https://arxiv.org/html/2607.21949#bib.bib24)\)。为优化流式处理中的参数效率，探索了任务驱动标记\(Zhuet al.2025b (https://arxiv.org/html/2607.21949#bib.bib25)\)和选择性增量子图训练\(Jiaet al.2025 (https://arxiv.org/html/2607.21949#bib.bib27)\)。局部-全局结构蒸馏也用于同时约束多粒度图语义\(Shiet al.2025 (https://arxiv.org/html/2607.21949#bib.bib35)\)。然而，这些连续的标量惩罚本质上将表征强制进入妥协的中间状态，无法清晰分离历史稳定性与当前可塑性。

### 经验重放

经验重放通过将存储或生成的历史分布与当前流式更新交错进行来缓解遗忘\(Lopez-Paz and Ranzato2017 (https://arxiv.org/html/2607.21949#bib.bib16); Rolnicket al.2019 (https://arxiv.org/html/2607.21949#bib.bib18); Darunaet al.2021 (https://arxiv.org/html/2607.21949#bib.bib20)\)。为适应连续的关系漂移，高级框架整合了来自大型语言模型的外部指导\(Wanget al.2024a (https://arxiv.org/html/2607.21949#bib.bib40)\)或利用动态状态跟踪来更新表征\(Zhanget al.2023a (https://arxiv.org/html/2607.21949#bib.bib10)\)。同时，基于条件分数匹配和去噪扩散概率模型的生成式重放已经出现，用于合成高保真、能抵抗长期漂移的历史上下文\(Hoet al.2020 (https://arxiv.org/html/2607.21949#bib.bib29); Austinet al.2021 (https://arxiv.org/html/2607.21949#bib.bib30); Longet al.2024 (https://arxiv.org/html/2607.21949#bib.bib31); Caiet al.2024 (https://arxiv.org/html/2607.21949#bib.bib32); Zhanget al.2025b (https://arxiv.org/html/2607.21949#bib.bib1); Chenet al.2026 (https://arxiv.org/html/2607.21949#bib.bib28)\)。然而，一个关键瓶颈依然存在：许多现有基于重放的 TKG 方法依赖粗略的全局标量权重或向量拼接来融合重放分布与当前状态。这忽略了高维尺度差异，引发严重的**范数支配**和**语义模糊**，从而激发了对更具自适应性的重放表征融合机制的需求。

## 问题形式化

时序知识图谱G\\mathcal{G}被形式化为一系列快照G={G1,G2,...,G\|T\|}\\mathcal{G}=\{G_{1},G_{2},\dots,G_{\|\mathcal{T}\|\}\}。每个快照GtG_{t}包含一组四元组(s,r,o,t)(s,r,o,t)。在流式 TKG 推理设置中，模型需要在给定截至t−1t-1的历史图的情况下，回答查询(s,r,?,t)(s,r,?,t)或(?,r,o,t)(?,r,o,t)。模型在顺序到达的快照上持续训练，并在保持先前获取知识的同时，对其持续推理能力进行评估。

## 方法论

所提出的流形对齐动态自适应路由 (MA-DAR) 框架的整体架构如图2 (https://arxiv.org/html/2607.21949#Sx4.F2) 所示。架构上，MA-DAR 被设计为一个独立的模块化插件，建立双数据接口以无缝耦合两个独立的外部输入流：当前编码和历史重放表征。接收到这些异构特征表征后，MA-DAR 插件通过其核心组件路由它们，系统性地缓解**范数支配**和**语义模糊**。

参考图注图 2:MA-DAR 插件的整体架构。作为即插即用扩展，MA-DAR 建立双数据接口以接收外部当前时间特征和重放的历史表征。这些异构上下文表征通过插件内的流形对齐、动态门控和极化惩罚进行顺序对齐和路由。

### 当前编码

为捕获当前 TKG 快照的短期演化动态，MA-DAR 与基础结构编码器E\\mathcal{E}进行接口交互。令Gt−m:t−1\\mathcal{G}_{t-m:t-1}表示最近历史子图的序列。在每个时间戳，基础编码器通常采用多关系图卷积网络 (GCN) 来聚合局部邻域信息。对于给定实体ee，其在第ll层的结构表征通过消息传递更新：

he\(l\)=σ\(∑r∈R∑v∈Nr\(e\)Wr\(l\)hv\(l−1\)\)h_{e}^{(l)}=\sigma\left(\sum_{r\in\mathcal{R}}\sum_{v\in\mathcal{N}_{r}(e)}W_{r}^{(l)}h_{v}^{(l-1)}\right)(1)其中Nr\(e\)\mathcal{N}_{r}(e)是通过关系rr连接的邻居集合，Wr\(l\)W_{r}^{(l)}是关系特定的权重矩阵。

随后，门控循环单元 (GRU) 在时间窗口上演化实体状态以捕捉动态趋势，产生当前步骤表征Hcurrent\(t\)H_{current}^{(t)}：

Hcurrent\(t\)=GRU\(HGCN\(t\),Hcurrent\(t−1\)\)H_{current}^{(t)}=GRU\left(H_{GCN}^{(t)}, H_{current}^{(t-1)}\right)