HyperPatch:面向n元结构漂移的序列知识编辑
摘要
HyperPatch提出了一种参数保持框架,用于处理n元结构漂移下的序列知识编辑,利用超图神经网络维护事件完整性。在MQuAKE-CF和MQuAKE-T基准上,逐跳准确率分别相对提升96.24%和21.06%。
arXiv:2606.03179v1 公告类型:新论文
摘要:大型语言模型(LLMs)依赖知识编辑(KE)来保持时效性,但现实世界中的知识本质上是n元的。我们证明,在非平稳环境中,对复杂关系的序列更新会引发N元结构漂移,这是一种将n元事件二元化为三元组时破坏关系原子性的现象。这会导致结构条件性知识迁移失败,即检索器系统性错误定位,常被误诊为参数幻觉。为解决此问题,我们提出HyperPatch,一种参数保持框架,将序列知识编辑重新表述为超图流形上的稳定性问题。HyperPatch通过三个阶段维护事件完整性:(i)结构先验初始化,通过在超图神经网络(HGNN)上进行对比学习,建立拓扑感知的嵌入空间以捕获高阶相关性;(ii)序列拓扑编辑,采用双阶段机制,利用基于SimHash的拓扑对齐快速解决冲突,以及拓扑LoRA自适应在不重新训练主干的情况下追踪漂移;以及(iii)结构条件性推理,整合来自语言和结构融合流形的全局一致性证据。在MQuAKE-CF和MQuAKE-T基准上,HyperPatch的逐跳准确率(H-Acc)相比最强基线分别相对提升96.24%和21.06%。进一步消融实验表明,在连续n元更新流下具有卓越的可靠性,而基于标准知识图谱的变体因结构错位导致H-Acc下降高达88.3%。
查看缓存全文
缓存时间: 2026/06/03 09:37
# n元结构漂移下的序列知识编辑
来源:https://arxiv.org/html/2606.03179
\(2026\)
###### 摘要
大型语言模型(LLMs)依赖知识编辑(KE)来维持时间有效性,然而现实世界知识本质上是n元的。我们证明,在非平稳环境中,对复杂关系的连续更新会引发**结构漂移**(Structural Drift),这是一种将n元事件二元化为三元组而破坏关系原子性的现象。这导致了**结构条件知识迁移失败**(Structure-Conditioned Knowledge Transfer Failure, SKTF),即检索器系统性错误定位,常被误诊为参数幻觉。为解决此问题,我们提出**HyperPatch**,一个参数保持框架,将序列KE重新表述为超图流形上的稳定性问题。HyperPatch通过三个阶段保持事件完整性:(i) **结构先验初始化**,通过在超图神经网络(HGNN)上进行对比学习,建立拓扑感知的嵌入空间,以捕获高阶相关性;(ii) **序列拓扑编辑**,利用双阶段机制,采用基于SimHash的拓扑对齐进行快速冲突解决,以及拓扑LoRA适配(Topological LoRA Adaptation)以在不重训练骨干网络的情况下跟踪漂移;(iii) **结构条件推理**,整合来自融合语言和结构流形的全局一致证据。在MQuAKE-CF和MQuAKE-T基准上,与最强基线相比,HyperPatch在逐跳准确率(H-Acc)上分别实现了96.24%和21.06%的相对提升。进一步的消融实验表明,在连续n元更新流下,HyperPatch具有优越的可靠性,而标准基于KG的变体因结构错位而遭受高达88.3%的H-Acc崩溃。我们的代码公开于https://github.com/Kevin20010912/HyperPatch.git。
知识编辑;超图编辑;n元关系;结构漂移;检索增强生成
††期刊年份:2026††版权:cc††会议:第32届ACM SIGKDD知识发现与数据挖掘会议V.2;2026年8月9–13日,韩国济州岛。††书籍标题:第32届ACM SIGKDD知识发现与数据挖掘会议V.2 (KDD 2026),2026年8月9–13日,韩国济州岛††ISBN:979-8-4007-2259-2/2026/08††DOI:10.1145/3770855.3817820††CCS:计算方法 知识表示与推理††CCS:信息系统 语言模型††CCS:信息系统 问答系统
## 1. 引言
大型语言模型(LLMs)越来越多地被用作多跳问答(QA)流程中的生成器(Zhong 等,2023 (https://arxiv.org/html/2606.03179#bib.bib15)),其答案基于外部知识源(例如,检索到的文本或图事实)进行条件生成。在此类系统中,端到端的可靠性不仅取决于LLMs的参数化推理能力,还取决于所访问的外部知识是否保持最新,并且通过系统的表示和检索接口能否一致地访问。当事实发生变化时,一种实用的维护原语是**知识编辑**(KE):执行局部更新以注入新事实,同时避免全局重训练并最小化附带更改(Meng 等,2022 (https://arxiv.org/html/2606.03179#bib.bib6), 2023 (https://arxiv.org/html/2606.03179#bib.bib7))。理想情况下,KE促进了一种“干净契约”:新注入的事实应立即可用于下游推理,同时保持全局一致性。
参见图注 (a)
参见图注 (b)
参见图注 (c)
图1. n元结构漂移下的SKTF。(a) 因子化为二元边会破坏事件耦合并检索到碎片。(b) 二元行走会创建局部相似但全局无效的组合。(c) HyperPatch检索原子超边,在更新过程中保持事件一致性。
大多数先前的工作在*静态*机制下探讨了这一契约,隐含地假设知识表示和检索器的嵌入流形随时间保持对齐(Meng 等,2022 (https://arxiv.org/html/2606.03179#bib.bib6), 2023 (https://arxiv.org/html/2606.03179#bib.bib7))。然而,实际部署会经历序列更新和模式演化,从而引入**结构漂移**(Gama 等,2014 (https://arxiv.org/html/2606.03179#bib.bib8))。我们强调在此类漂移下的一种失效模式:**结构条件知识迁移失败**(SKTF)。当调节知识访问的拓扑结构(例如,复杂关系如何被因子化和连接)与检索器学习到的嵌入分布发生偏离时,就会引发SKTF。结果,尽管底层知识已被正确更新,系统仍可能检索到过时或结构上不兼容的证据,从而导致生成器错误定位,并产生自信的错误,这些错误常被归因于幻觉或参数冲突(Chen 等,2022 (https://arxiv.org/html/2606.03179#bib.bib9))。我们认为,在n元结构变化下,这些错误主要反映了**检索流形错位**,而非推理能力的内在缺陷。
具体而言,SKTF源于事实作为*事件*产生的方式与其为检索而表示的方式之间的不匹配。现实世界的知识通常是n元的:一个事件联合绑定了多个实体、角色、属性和上下文限定符(Wen 等,2016 (https://arxiv.org/html/2606.03179#bib.bib10))。相比之下,标准知识图谱(KG)流程通常将此类事件*投影*或*具体化*为一组二元三元组(Rosso 等,2020 (https://arxiv.org/html/2606.03179#bib.bib11)),以支持基于链接的存储和基于嵌入的检索。当模式和分布稳定时,这种近似通常是可以接受的,但在序列更新和实体/查询分布演化下,它变得脆弱。图1 (https://arxiv.org/html/2606.03179#S1.F1) 说明了两种漂移机制:(a) **事件因子化漂移**,将n元事件分解为松散耦合的边会削弱语义耦合。在分布变化(例如,2023年对球员资料的更新)下,检索器的邻域被重塑。诸如Ronaldo实体和Premier League关系等碎片可能在嵌入空间上保持邻近,尽管它们属于不同的底层事件。这产生了局部相关但*事件不完整*的证据(Thakur 等,2021 (https://arxiv.org/html/2606.03179#bib.bib12)),因为检索器无法再强制执行原始的n元约束。(b) **虚假多跳组合**,二元投影允许偶然的多跳路径,这些路径逐跳看起来合理,但在组合时无法形成有效的全局链(Min 等,2019 (https://arxiv.org/html/2606.03179#bib.bib13))。在这两种情况下,检索返回的证据局部合理但全局不一致,因此生成器被错误定位,并非因为所需知识不存在,而是因为系统从漂移的二元代理中组装了一个无效的事件结构。
尽管SKTF具有紧迫性,但现有文献忽略了编辑的结构维度。**参数编辑**(Meng 等,2022 (https://arxiv.org/html/2606.03179#bib.bib6), 2023 (https://arxiv.org/html/2606.03179#bib.bib7))能有效修改单跳事实,但在分布式证据上表现挣扎(Zhong 等,2023 (https://arxiv.org/html/2606.03179#bib.bib15)),并且在序列流下遭受灾难性遗忘(Kirkpatrick 等,2017 (https://arxiv.org/html/2606.03179#bib.bib16))。相反,**检索增强编辑**(Mitchell 等,2022b (https://arxiv.org/html/2606.03179#bib.bib17); Han 等,2023 (https://arxiv.org/html/2606.03179#bib.bib18))依赖于冻结的、密集的检索器,这些检索器对演化的图拓扑不敏感。这些方法假设嵌入空间与知识结构保持对齐,但这一假设在n元关系漂移时失效。目前,尚无框架显式建模序列编辑过程中**事件兼容性**的**稳定性**。这促使我们转向**超图**。与标准KG不同,超图将每个n元事件视为一个单一的**超边**,保留了耦合参与者和约束的原子单元(Feng 等,2019 (https://arxiv.org/html/2606.03179#bib.bib19); Haghighi 等,2024 (https://arxiv.org/html/2606.03179#bib.bib41))。基于超图的检索增强生成(RAG)(Luo 等,2025 (https://arxiv.org/html/2606.03179#bib.bib35))因此可以检索“事件一致单元”的证据,而不是任意的三元组链,从而减轻虚假组合(Edge 等,2024 (https://arxiv.org/html/2606.03179#bib.bib21))。对编辑而言至关重要,超图允许在事件兼容性层面衡量漂移。如图1 (https://arxiv.org/html/2606.03179#S1.F1) (c) 所示,标准KG将上下文碎片化为漂移的三元组,而超边表示保持了结构完整性。这确保了对单个参与者的更新不会解耦相关上下文,为可扩展的序列知识编辑提供了稳健的基础。
在本文中,我们将序列知识编辑重新表述为n元结构漂移下的拓扑稳定性问题。我们认为,需要保持的主要对象是**事件兼容性流形**,即控制n元关系如何被检索和组合的潜在结构。为此,我们提出**HyperPatch**,一个参数保持框架,通过三项核心创新稳定超边表示:(i) **结构先验初始化**:为了缓解SKTF,我们通过HGNN和拓扑LoRA适配,将检索器的嵌入流形与演化的超图拓扑同步。通过将更新基于n元结构约束,这种免回放机制规避了序列编辑中固有的灾难性遗忘(Hartvigsen 等,2024 (https://arxiv.org/html/2606.03179#bib.bib22)),在知识库演化时保持稳健的结构锚点。(ii) **序列拓扑编辑**:为了大规模处理n元更新,我们实现了一个基于超边中心哈希的检索层。这促进了O(1)结构映射,用于快速超边替换或扩展,有效将更新延迟与累积编辑体积解耦。(iii) **结构条件推理**:为了实现抗漂移推理,HyperPatch动态整合检索流形与更新的n元拓扑。这促进了精确的实体定位和推理路径的一致遍历,即使在随机结构波动下也能保持多跳QA性能。
我们的贡献如下:
- • 我们将SKTF识别为动态多跳QA中的主导错误源,并提供了将检索漂移与n元设置下推理风险联系起来的理论边界。
- • 我们提出**HyperPatch**,这是第一个将超图结构先验集成到序列KE中的框架。通过保持事件完整性,HyperPatch稳健地缓解了破坏标准三元组编辑器的n元因子化漂移。
- • 在多跳基准上的评估表明,HyperPatch实现了优越的可靠性(H-Acc分别为96.24%和21.06%),并对分布变化保持鲁棒性,缓解了基于KG变体固有的42.9%–88.3%的H-Acc灾难性退化。同时,HyperPatch相较于竞争性知识编辑框架实现了25.9×的检索加速。
参见图注图2. HyperPatch的整体框架。
## 2. 预备知识
我们形式化定义n元知识的表示(第2.1节)、序列编辑设置(第2.2节)以及挑战当代系统的结构漂移(第2.3节)。
### 2.1. n元关系知识图谱
现实世界事件通常表现为n元关系约束,其中语义有效性取决于多个实体和属性的联合参与。
###### 定义2.0 (n元事实):
n元事实f是一个原子元组f = (r, {v1, ..., vn}),其中r ∈ R是关系类型,{vi} ⊆ V是参与的实体。与二元三元组 (s, r, o) 不同,f是一个**拓扑单元**,其语义在二元因子化下会丢失。
为了保留这些高阶依赖关系,我们引入**知识超图**结构。
###### 定义2.0 (知识超图):
知识超图H = (V, E),其中V是实体顶点集合,E ⊆ 2^V \ {∅}是超边集合。每个超边e ∈ E代表一个n元事实f,通过连接所有{vi}参与者来保持事件原子性。
每个实体v ∈ V和超边e ∈ E关联一个文本描述x_v, x_e,通过编码器投影到结构感知的潜在空间,得到嵌入x_v, x_e ∈ R^{d_text}。集体表示形成文本嵌入矩阵X ∈ R^{N × d_text},其中N = |V| + |E|。
### 2.2. 序列知识编辑
序列知识编辑(SKE)涉及连续的更新请求流Δ = {δ_1, ..., δ_T}。每个δ_t = (f_old → f_new) 是一个指令,将超图从H_{t-1}过渡到H_t。成功的SKE框架必须满足:
###### 定义2.0 (编辑请求):
编辑请求δ_t是插入、删除或修改n元事实的指令,记为δ_t = (f_old → f_new),其中f_new表示必须整合到超图拓扑中的目标知识状态。
序列知识编辑(SKE)的目标是将系统从状态S_{t-1}过渡到S_t,满足三个条件:
- • **可靠性**(编辑成功):系统正确回答针对f_new的查询Q_edit,确保新知识被有效集成(Yao 等,2023 (https://arxiv.org/html/2606.03179#bib.bib26))。
- • **局部性**(特异性):系统在针对无关知识的查询Q_loc上保持性能,从而缓解序列学习中典型的灾难性遗忘(Kirkpatrick 等,2017 (https://arxiv.org/html/2606.03179#bib.bib16))。
- • **结构稳定性**:检索机制适应H_t的演化拓扑,以防止检索漂移,这是静态检索增强编辑中常被忽视的挑战。
### 2.3. 问题形式化
SKE中的主要挑战是**结构漂移**。随着编辑累积,H_t的拓扑分布偏离检索器的原始训练先验D_0。这引发了**结构条件知识迁移失败**(SKTF),其中检索变得局部合理但对f_new结构无效。
###### 问题 (n元结构漂移下的SKE):
给定初始超图H_0和编辑序列Δ,目标是更新H_0 → H_T,使得每个H_t在所有t上对f_new保持事件完整性。同时,系统必须使检索流形M_t与H_t的拓扑结构对齐,以最小化SKTF。相似文章
HoReN:用于大规模序列模型编辑的归一化Hopfield检索
本文介绍了HoReN,这是一种参数保留的模型编辑方法,使用归一化Hopfield检索来处理对大型语言模型的大规模序列更新。它解决了知识积累和路由挑战的问题,在50,000次序列编辑上展示了稳定的性能,而先前的方法在这种情况下性能会退化。
迷宫与线索:重新思考大语言模型中序列知识编辑的正则化
本文研究了大型语言模型中序列知识编辑的底层机制,表明许多正则化策略是不必要的,并且稳定性源于正确考虑累积的编辑约束而自然产生。
HyPE:面向角色对话的类别感知超图编码与持久边嵌入
HyPE 提出了一种基于超图的角色编码器,通过类别感知超边和持久边嵌入对角色属性间的高阶关系进行建模,在 PersonaChat 数据集上,相较于多个主干模型的平面池化基线,取得了持续的改进。
融合与独立的协同:超复数驱动的鲁棒多模态知识图谱补全
本文提出了M-Hyper,一种新颖的多模态知识图谱补全方法,利用超复数(双四元数)代数平衡模态表示的融合与独立性。该方法引入细粒度实体表示分解模块和鲁棒关系感知模态融合模块,以改进的鲁棒性实现了最先进的性能。
文本编辑能否泛化到视觉生成?统一多模态模型中的跨模态知识编辑基准测试
本文介绍了UniKE,这是首个针对统一多模态模型(UMMs)的跨模态知识编辑基准测试,揭示了显著的模态差距:文本编辑实现了92%的效果,但仅有18.5%迁移到图像生成。它提出了Reasoning-augmented Parameter Editing,以改善跨模态迁移,提升幅度高达18.6个百分点。