去噪未来：针对时序知识图谱外推的上下文感知频谱扩散

# 上下文感知光谱扩散用于时间知识图谱外推
来源：https://arxiv.org/html/2608.20804

## 去噪未来：面向时间知识图谱外推的上下文感知光谱扩散
彭贺
单位：中国电子科技大学，成都，中国
单位：浙江大学，杭州，中国，腾讯微信事业群，广州，中国
通讯作者：[emmaahe@tencent\.com, runlin@zju\.edu\.cn](mailto:email@domain)
林润
姜佩渊
单位：中国电子科技大学，成都，中国
王一帆
单位：中国电子科技大学，成都，中国
刘乔
单位：中国电子科技大学，成都，中国

### 摘要
时间知识图谱 (TKG) 外推旨在从时变关系历史中推断未来事实。近期基于扩散的方法通过生成式去噪改进了不确定性建模，但其对主体历史的聚合条件化处理可能不足以区分查询特定证据与非显著历史事实，从而稀释目标判别信号。为弥合这一差距，我们提出FreqDiff，一个用于TKG外推的频率感知扩散框架。具体而言，FreqDiff将未来对象预测表述为查询槽去噪，并开发了一个集成时序依赖建模与上下文感知光谱校准的双流去噪器。光谱分支从可学习基合成历史条件滤波器，以自适应地重新校准去噪表示，同时提出一个频率域正则化器，以在光谱空间对齐去噪后的目标与真实对象。在四个公开TKG基准上的实验表明，FreqDiff实现了最先进的性能[111]。

## 1 引言
时间知识图谱 (TKG) 将时变事实编码为四元组 (s,r,o,t)，其中关系 r 在时间戳 t 连接实体 s 和 o [28]；[42]。对TKG的推理旨在从观测到的时间历史中推断缺失或未来的事实。现有研究通常区分两种推理设置：插值，即在观测时间跨度内补全缺失事实 [3]；[47]，以及外推，即在最新观测时间戳之后预测事实 [66]；[70]；[41]。本工作聚焦于外推，它能够实现前瞻性推理并支持对未来事件的决策。参见图注。

图 1：TKG中面向主体的上下文示意图。红色链接的事实代表查询导向的证据，而其他与主体相关的事实可能充当上下文噪声。

准确的TKG外推需要建模事件和关系模式的时间演变。大多数现有方法遵循学习分类范式 [59]；[30]，该范式将历史依赖性编码为确定性的实体和关系表示，并使用TransE [1] 或 DistMult [66] 等评分函数对候选未来事实进行排序。近期工作进一步通过基于GNN的历史传播 [41]；[38]、在局部/全局或历史/非历史上下文上的对比学习 [12]；[65]，以及用于可解释推理的符号时间先验 [11]；[13] 改进了这一范式。尽管这些方法取得了强大的经验性能，但其确定性预测机制使得难以捕捉未来事件的不确定性和多样性。为了解决这一局限性，近期研究将扩散模型引入TKG推理，并转向学习生成范式 [5]；[20]，其中合理的目标对象在历史时间上下文的条件下被生成或采样。尽管经验上成功，现有方法表现出两个关键局限性：

- • 查询特定证据的辨别力有限。现有方法通常通过统一的时间处理方案编码面向主体的历史 [68]；[7]。然而，一个主体历史可能包含多样化的关系轨迹 [25]；[62]，并非所有这些轨迹都对当前查询具有信息量。如图1所示，对于查询，指控或批评相关事实与主体相关但对查询的判别力较弱，而谈判或协商相关事实提供了更直接的证据。没有针对查询的过滤，此类非显著上下文可能会掩盖真正关键的时间证据。

- • 依赖于通用损失公式。现有基于扩散的TKG推理方法主要使用通用的重建或排序损失来监督去噪 [5]；[20]。尽管这些目标对于实体判别是有效的，但它们将去噪表示主要限制在嵌入空间中，而没有显式地保留其光谱结构。因此，对于重建未来对象重要的频率特定线索可能未被充分捕捉。

在本文中，我们提出FreqDiff，一个用于TKG外推的频率感知扩散框架。给定一个未来查询，FreqDiff构建一个面向主体的事件序列作为历史上下文，并将缺失对象预测表述为查询槽去噪。在前向过程中，仅向目标对象表示注入高斯噪声，而历史事件保持确定性。在反向过程中，一个双流去噪器通过结合时序依赖建模与上下文感知光谱校准来重建目标。时序分支从主体历史中捕获序列模式，而光谱分支从可学习基生成上下文感知光谱滤波器，以重新校准去噪表示。此外，一个频率域一致性正则化器在光谱空间中对齐去噪后的目标与真实对象嵌入，为频率感知重建提供显式监督。我们的贡献有三方面：

- • 我们提出FreqDiff，一个用于TKG外推的频率感知扩散框架，它将未来对象预测表述为查询槽去噪，并通过一个具有时序建模和上下文感知光谱校准的双流去噪器重建目标。
- • FreqDiff引入了一个频率域一致性正则化器，该正则化器在光谱空间中对齐去噪后的目标表示与真实对象嵌入，为频率感知重建提供显式监督。
- • 在四个公开TKG基准上的广泛实验表明FreqDiff达到了最先进的性能，进一步分析验证了其光谱校准和频率域正则化的有效性。

## 2 相关工作
### 2.1 时间知识图谱推理
判别式TKG推理通过从历史三元组中学习时间模式来预测未来事实。早期的连续时间方法，如Know-Evolve [1]；[10] 和 THCN [10]，使用霍克斯过程或时间因果卷积来建模事件发生。后来的神经方法通过循环推理、基于图的传播、循环感知约束和结构化历史证据，将时间信号整合到KG编码器中，包括RE-NET [30]；[15]、RE-GCN [41]；[3]、CyGNet [70]；[16]、CEN [39]；[17]、xERTE [25]；[31] 和 HisMatch [40]；[19]。除了简单地编码所有历史事实外，另一条研究路线显式地改进了有用历史证据的选择或瓶颈化。例如，xERTE [25]；[31] 使用时间关系注意力提取查询相关的时间子图，TimeTraveler [54]；[29] 通过强化学习搜索历史快照，CENET风格的方法通过对比学习和掩码区分历史和非历史依赖 [65]；[21]；[69]；[28]。与此同时，符号和结构方法通过从时间一致的随机游走 [45]；[32] 推导时间逻辑规则、挖掘关系特定路径 [17]；[33]，或构建认知时间关系图 [13]；[8] 来提高可解释性和归纳泛化能力。

### 2.2 生成式时间知识图谱推理
生成式方法将不确定性感知建模引入TKG外推。DiffuTKG [5]；[4] 将未来事实预测公式化为高斯扩散过程下的条件去噪，而NADEx [20]；[48] 进一步纳入了负样本感知扩散，以锐化未来实体的决策边界。DPCL-Diff [6]；[30] 通过图节点扩散和双域周期对比学习扩展了这一路线，以分离周期性和新颖的时间模式。除了纯神经扩散框架外，Luo等人 [47]；[47] 使用LLM生成多步骤事件链，LLM-DR [8]；[6] 结合无分类器引导的扩散与基于LLM的规则精炼。尽管在生成式TKG推理方面取得了进展，但它们主要在时域中操作，而时间动态背后频率特性仍未得到充分探索。这激励了我们的频率感知扩散框架，该框架为TKG推理引入了互补的光谱信号。关于扩散模型和频率建模的讨论见附录A。

## 3 预备知识
定义1. 时间知识图谱。令 E、R 和 T 分别表示实体、关系类型和时间戳的有限集合。时间知识图谱 G 是带时间戳的四元组集合：
G = {(s,r,o,t) | s,o ∈ E, r ∈ R, t ∈ T}, (1)
其中每个元组编码了在时间 t 关系 r 从主体 s 到客体 o 成立的事实。更具体地说，TKG 可以视为一个有序的静态快照序列：G = {G₁, G₂, ..., G_|T|}, (2)
其中 G_t 聚合了在时间戳 t 有效的所有三元组。遵循标准的双向关系惯例 [31]；[45]，我们为每个四元组 (s,r,o,t) 添加其逆元 (o,r⁻¹,s,t)，其中 r⁻¹ 表示 r 的逆语义。

定义2. 时间知识图谱推理。令 q = (s,r,?,t) 为查询四元组，其对象实体在时间戳 t 缺失。给定长度为 L 的滑动历史窗口，G_{t-L-1:t-1} = {G_{t-L}, G_{t-L+1}, ..., G_{t-1}}。TKG推理任务是学习一个评分函数：score_t(o) = f(s,r,o,G)，ô = arg max_{o∈E} score_t(o)。 (3)
每个候选对象 o ∈ E 被分配一个分数，最高分的实体完成该四元组。

## 4 方法
参见图注。
图 2：FreqDiff概览。给定一个面向主体的历史，FreqDiff将高斯噪声注入目标对象表示，并通过反向扩散重构它。去噪器将时序建模与上下文感知光谱校准相结合，其中历史条件滤波器重新校准频率分量，并将其与时域表示融合以进行未来对象预测。

### 4.1 时间表示学习
给定一个查询 q = (s,r_q,?,t)，目标是根据主体 s 的最近历史，从实体集 E 预测缺失的对象。我们首先构建一个以主体为中心的序列，包含最近的 L 个历史事件以及查询槽：Q_{s,t} = [(s₁,r₁,o₁,τ₁), ..., (s_i,r_i,o_i,τ_i), (s_L,r_L,o_L,τ_L)]。 (4)
遵循标准的序列表述，我们将 Q_{s,t} 的对象、关系和相对时间分量投影到一个共享的 h 维空间中。令 E_o ∈ ℝ^{|E|×h}, E_r ∈ ℝ^{|R|×h}, 和 E_Δt ∈ ℝ^{N_t×h} 分别表示对象、关系和相对时间的嵌入矩阵：
o = [E_o(o₁); ...; E_o(o_L); E_o(o_t)], (5)
r = [E_r(r₁); ...; E_r(r_L); E_r(r_q)],
t = [E_Δt(Δτ₁); ...; E_Δt(Δτ_L); E_Δt(1)].
其中 Δτ_i 表示第 i 个历史事件与查询时间戳 t 之间的时间间隔。

### 4.2 前向扩散过程
前向过程向查询位置的目标对象表示注入高斯噪声。对于采样扩散步 m ∈ {1,...,M}，损坏的目标表示生成为：
o_m = √ᾱ_m E_o(o_t) + √(1-ᾱ_m) ε, ε ~ N(0,I), (6)
其中 ᾱ_m = ∏_{j=1}^m (1-β_j)