FlowNeg: GFlowNet引导的多样困难负采样用于知识图谱嵌入

# GFlowNet引导的多样化困难负采样用于知识图谱嵌入  
来源：https://arxiv.org/html/2608.23849  
Naoshin Anzum Hridi  
单位：孟加拉国BRAC大学计算机科学与工程系  
Joyanta Jyoti Mondal  
单位：美国特拉华大学计算机与信息科学系  
通讯邮箱：[ishihab@iastate\.edu](mailto:[email protected])  

###### 摘要  

负采样决定了知识图谱嵌入（KGE）模型是从信息丰富的反例中学习，还是在不合理的破坏上浪费更新。均匀负样本虽具多样性但过于简单，而困难负样本挖掘则集中在少数实体上，与保留的正样本产生更多冲突。我们提出FlowNeg，一种上下文条件层次生成流网络，它通过摊销奖励比例采样，无需对实体集上的组合奖励进行归一化：给定正三元组和破坏侧，它先选择类型，再选择实体。其终端奖励结合了有界模型硬度与仅训练阶段的结构评分（针对保留正样本冲突），基于关系特定的类型兼容支持集设计。我们推导了奖励函数，改进了标准轨迹平衡方法，并界定了残余不平衡对终端概率和模式概率的乘性扰动范围。在五种架构与五种基准的五种子描述性网格实验中，FlowNeg在25个单元格中的24个里平均MRR高于EMU和IF-NS（分别平均提升+0.0172和+0.0160）。另在FB15k-237/RotatE上进行15种子对照实验（固定负样本数量、诊断预算和计算量），FlowNeg取得0.359±0.001 MRR，优于EMU的0.346±0.002，同时保持接近均匀的固定划分多样性、高梯度信息量和低冲突率。证据支持模式覆盖式负样本生成，无需将结构相似性视为开放世界真理预言。  

## 1引言  

知识图谱以三元组\((h,r,t)\)记录已观察事实，但很少明确记录错误。因此知识图谱嵌入依赖于生成的负样本：模型学习将已观察三元组的评分置于破坏样本之上。简单负样本很快产生可忽略的梯度，而极端困难负样本可能是未包含在不完整图中的真实事实。有效的采样器需找到足够困难以供训练的候选、足够广泛以代表实体空间不同区域的分布，并足够保守以避免将每个合理的未观察三元组都视为错误。  

当前方法占据此权衡的不同位置。均匀破坏（Bordes et al., 2013）覆盖实体集，但随训练推进信息量递减（Yang et al., 2024）。自对抗加权（Sun et al., 2019）、缓存（Zhang et al., 2019）、结构池（Ahrabian et al., 2020）和基于影响的选择（Cai et al., 2025）提升了硬度，但其概率质量可能过度集中于模型已偏好的候选。对抗和基于突变的生成器（Cai and Wang, 2018; Takamoto et al., 2025）同样针对难度而未明确保留多个高价值区域或抑制可能的污染。因此这是分布性问题：训练需要在大量困难候选上分布有用质量，而非重复访问单个最大化器。  

生成流网络（GFlowNets）适合此分布性目标：给定非负奖励，训练良好的GFlowNet以终端概率与奖励成比例为目标（Bengio et al., 2021; Malkin et al., 2022），因此提升一个候选的奖励不必将其他信息性候选的概率降至零。直接构建此目标需反复对实体集上的组合奖励进行归一化。FlowNeg则通过采样终端奖励和学习上下文依赖归一化器来摊销它，使用层次策略先选择关系兼容类型，再从中选择实体。终端奖励为：  

\[ R(\hat{e}\mid\bm{x}) = a_\theta(\hat{e}\mid\bm{x}) \times \left(1 - \widehat{c}_{\mathrm{HPC}}(\hat{e}\mid\bm{x})\right) c(\hat{e},r,s) \]  
其中\(\bm{x}=(h,r,t,s)\)是破坏侧为\(s\)的正三元组；前两个因子编码有界硬度和结构冲突风险，而\(c\)将终端支持限制为角色兼容类型而非在其内重新加权候选。全上下文条件至关重要，因为冲突评分随被替换的已观察实体而变化。FlowNeg在采样器更新与普通KGE优化之间交替进行，并保留小比例均匀成分用于探索。  

本文贡献包含三个相互关联的部分。方法上，将负样本选择转化为上下文条件奖励比例生成，为嵌入模型和SimKGC（Wang et al., 2022）提供通用提议接口。理论上，将公式（1）推导为条件开放世界代理，分离精确轨迹平衡与其近似平衡含义，并将覆盖解释限定于声明的固定划分。实验上，分离描述性五种子网格、15种子匹配\(k\)机制研究和预设15种子FlowNeg–均匀分析，揭示两个小反例，同时表明在等量负样本和等墙钟检查点下对EMU的控制增益持续存在。  

## 2背景与相关工作  

### 2.1 KGE中的负采样  

均匀和类型约束破坏（Bordes et al., 2013; Krompass et al., 2015）成本低且多样性好，但将大多数样本分配给模型已拒绝的候选。自对抗训练（Sun et al., 2019）按当前评分重加权均匀池；NSCaching（Zhang et al., 2019）和TuckerDNCaching（Madushanka and Ichise, 2023）维护高评分缓存；SANS（Ahrabian et al., 2020）将采样限制于图邻域。所有方法均提升信息量，但未控制多少不同语义区域仍被代表。  

学习型采样器更直接地解决硬度问题。KBGAN（Cai and Wang, 2018）训练第二个KGE模型作为生成器，继承对抗优化的困难（Goodfellow et al., 2014）；EMU（Takamoto et al., 2025）将实体嵌入突变至理论动机条件；IF-NS（Cai et al., 2025）使用影响估计保留有用候选；Ne_AnKGE（Li et al., 2025）使用类比推理。无负样本目标（Bahaj and Ghogho, 2024; Zhang et al., 2024）避免显式采样，但以不同于本文研究的开放世界采样问题的方式处理未观察三元组。FlowNeg的独特选择是学习一个分布，其质量遵循组合奖励而非缓存、过滤或最大化单个候选；附录B提供机制级比较。  

### 2.2 奖励比例生成  

GFlowNets学习离散对象的随机构造策略，其终端概率与非负奖励成比例（Bengio et al., 2021; Bengio et al., 2023）；目标包括流匹配、详细平衡和轨迹平衡（Malkin et al., 2022），应用于分子设计、因果发现和离散概率建模（Deleu et al., 2022; Deleu et al., 2023; Zhang et al., 2022; Zhang et al., 2023）。它们在此的相关性比“GFlowNets防止崩溃”的普遍主张更窄：若轨迹平衡被准确学习且多个区域携带奖励质量，则目标保留这些区域。在FlowNeg的两阶段树中，相对于直接奖励归一化的收益是摊销，因为策略从采样终端奖励更新，无需在每个KGE步骤上为每个实体重新评分组合奖励。这补充了对比表示学习中负样本质量的工作（Chen et al., 2020; He et al., 2020; Chuang et al., 2020; Robinson et al., 2021），其中候选对象和监督结构与离散KGE破坏不同。  

## 3 FlowNeg  

设\(\mathcal{G}=(\mathcal{E},\mathcal{R},\mathcal{T})\)为具有训练三元组\(\mathcal{T}_{\mathrm{tr}}\)的知识图谱，\(f_\theta(h,r,t)\)为任意可微KGE评分。关系特定伯努利规则选择破坏侧\(s\in\{\mathtt{head},\mathtt{tail}\}\)；训练从提议\(q\)采样\(k\)个替换，并对尾部破坏最小化：  

\[ \mathcal{L}_{\mathrm{KGE}}(\bm{\theta};q) = -\log\sigma(f_\theta(h,r,t)) - \frac{1}{k}\sum_{i=1}^{k}\log\sigma(-f_\theta(h,r,\hat{e}_i)) \]  
其中\(\hat{e}_i \sim q(\cdot\mid\bm{x})\)，\(\bm{x}=(h,r,t,s)\)为完整正上下文。头部破坏将\(f_\theta(h,r,\hat{e}_i)\)替换为\(f_\theta(\hat{e}_i,r,t)\)。FlowNeg仅更改此提议；评分、损失和侧选择规则不变。  

正上下文\(\bm{x}=(h,r,t,s)\) → 类型策略\(P_F(\tau\mid\bm{x})\) → 实体策略\(P_F(\hat{e}\mid\tau,\bm{x})\) → 混合提议\((1-\alpha)\pi_\phi + \alpha q_{\mathrm{unif}}\) → KGE更新公式（2） → 终端奖励：硬度×冲突折扣×类型  

图1：FlowNeg训练循环。两个策略和学习的归一化器均以完整上下文\(\bm{x}\)为条件；采样器选择类型再选择实体，生成实体与\(\alpha=0.1\)的均匀探索混合。KGE每步更新，而GFlowNet在预热\(W=50\)轮后每\(m=5\)个KGE步骤更新一次。  

### 3.1 层次生成  

直接归一化所有实体上的组合奖励需反复评分每个替换。FlowNeg将抽样分解为两个学习决策。设\(\bm{z}_{\bm{x}}=[\bm{e}_h;\bm{e}_r;\bm{e}_t;\bm{e}_s]\)，其中\(\bm{e}_s\)为学习的破坏侧嵌入。类型策略首先选择角色兼容划分\(\tau\)：两层网络将\(\bm{z}_{\bm{x}}\)映射到类型对数，\(P_F(\tau\mid\bm{x})\)为限制于\(\mathcal{A}_r^s\)的softmax（\(\mathcal{A}_r^s\)为\(\mathcal{T}_{\mathrm{tr}}\)中关系\(r\)对应定义域或值域观察到的划分，见附录A）。给定\(\tau\)条件，交叉注意力策略从\(\mathcal{E}_\tau\)选择实体：  

\[ \bm{q}_{\bm{x}} = \bm{W}_q \bm{z}_{\bm{x}}, \quad \bm{k}_e = \bm{W}_k \bm{e}_e \]  
\[ a_e = \bm{q}_{\bm{x}}^\top \bm{k}_e / \sqrt{d_k}, \quad P_F(\hat{e}\mid\tau,\bm{x}) = \frac{\exp(a_{\hat{e}})}{\sum_{e\in\mathcal{E}_\tau}\exp(a_e)} \]  
若有模式类型则使用；否则仅用\(\mathcal{T}_{\mathrm{tr}}\)训练的嵌入通过\(k\)-means将实体划分为\(K=50\)类，之后划分和\(\mathcal{A}_r^s\)集合冻结。每个实体有一个父划分，因此其反向路径是确定性的。可选阶段三粗类型细化（附录A）未在主要实验中使用。  

层次结构减少奖励枚举而非使选择恒定时间：公式（3）仍在选定划分内归一化对数。不同于直接奖励匹配，它仅在采样终端评估变化的KGE和结构奖励，并学习上下文依赖分区函数\(Z_\phi(\bm{x})\)。  

对于SimKGC，FlowNeg读取评分模块已消耗的缓存实体表，在现成对比目标中用采样标识符替换均匀提议的标识符。语言编码器和评分架构均不变；跨架构主张涉及共享提议接口。  

### 3.2 硬度、冲突折扣与类型支持  

硬度因子是有界评分而非校准的真实概率：对尾部破坏为\(a_\theta(\hat{e}\mid\bm{x})=\sigma(f_\theta(h,r,\hat{e}))\)，对头部破坏为\(\sigma(f_\theta(\hat{e},r,t))\)。冲突评分使用仅从训练三元组构建的角色条件邻域，\(\mathcal{N}_r^{\mathtt{tail}}(e)=\{h':(h',r,e)\in\mathcal{T}_{\mathrm{tr}}\}\)和\(\mathcal{N}_r^{\mathtt{head}}(e)=\{t':(e,r,t')\in\mathcal{T}_{\mathrm{tr}}\}\)。记\(y_{\mathtt{tail}}=t\)且\(y_{\mathtt{head}}=h\)，FlowNeg计算：  

\[ \widehat{c}_{\mathrm{HPC}}(\hat{e}\mid\bm{x}) = \frac{\|\mathcal{N}_r^{s}(\hat{e}) \cap \mathcal{N}_r^{s}(y_s)\|}{\|\mathcal{N}_r^{s}(\hat{e}) \cup \mathcal{N}_r^{s}(y_s)\| + \epsilon} \]  
此Jaccard评分折扣与已观察实体在同一关系角色上结构相似的候选。它仅作为与已知验证或测试正样本冲突的预测器评估，而非作为每个未观察三元组为真的概率。最后，\(c(\hat{e},r,s)\)