标签
FedAlphaEdit 提出了首个在本地编辑与服务器端合并规则上统一遵循零空间原则的协作式知识编辑框架,使无法共享原始编辑数据的机构能够联合维护共享模型,其编辑成功率与知识保留能力接近集中式编辑水平。
EngramEdit 提出一种通过条件记忆(conditional memory)实现 LLM 解耦知识更新的方法,联合更新共享 n-gram 嵌入以实现近乎完美的编辑成功率,在多跳推理中达到最强基线近三倍的准确率,同时保留无关知识与通用能力。
论文提出 FOVEATED——一个即插即用的框架,通过在编辑过程中扰动前文上下文的 RoPE 位置,来抵消上下文导致的难度低估,从而提升非结构化知识编辑中的原子事实召回率;该方法在五种编辑器、两种 LLM 主干模型和三个基准测试上均取得一致的性能提升。
MedKIT 是一个新基准,用于评估大语言模型在词法、关系、组合和操作四类探针下,整合与应用更新后临床知识的能力。一项涵盖 5 个模型、12 种知识整合策略的大规模研究发现,事实检索与可实际运用的知识之间始终存在明显差距,组合推理与操作推理能力几乎没有提升。
ALOE引入了一种用于语言模型知识编辑的语义寻址低秩算子,在标准基准测试中以高效性和局部性提高了编辑范围和精度。
本文提出了一种基于频谱的框架,用于在大语言模型中选择性逆转知识编辑,允许移除有害编辑同时保留有益编辑。
本文提出一个负面结果,表明当前知识编辑基准无法有效评估范围分类器。使用INLAY(一个无梯度编辑器)来演示,由于基准的结构性限制,没有逐查询路由方法能提高性能。
DOW-KE 介绍了一种无锚点方法,用于大型语言模型中的知识编辑,通过直接优化跨层的权重更新,在序列编辑任务中实现了更高的性能。
This paper introduces HPSE, a hybrid-policy self-editing method for composable unstructured knowledge editing in LLMs, enabling edited models to answer atomic questions and perform multi-hop reasoning about injected knowledge. The approach uses proactive self-distillation with hybrid rollouts and is validated across multiple LLM backbones and editors.
ForgetBench 引入了一个基准测试,用于系统地表征大型语言模型在持续知识编辑下的遗忘行为,通过基于概念和场景的问答来衡量时间衰减和保留动态。
Moir是一种通过将保留分布与模型自身的解码分布对齐来改进大语言模型跨领域知识编辑的方法,避免了对外部语料库的依赖。它能在多个模型和编辑器上一致地保留像数学推理这样的复杂能力。
KnowledgeDebugger是一个基于图形用户界面的工具,用于探索Transformer模型中的知识定位与编辑,集成了EasyEdit库中最先进的知识编辑方法,以支持直观的分析和假设形成。
本文识别并解决了多模态大语言模型中的“编辑解耦失败”问题,即通过多模态输入进行知识更新后,当查询变为单模态时更新效果无法泛化。作者提出DECODE方法,用于解耦并定位模态特定神经元,从而实现更有效的知识编辑。
介绍了一个基准测试,用于评估知识编辑方法如何处理事实编辑的逻辑后果,揭示了像ROME和FT这样的现有方法能准确插入直接断言,但未能传播蕴含知识,性能差距高达24%。
HyperPatch提出了一种参数保持框架,用于处理n元结构漂移下的序列知识编辑,利用超图神经网络维护事件完整性。在MQuAKE-CF和MQuAKE-T基准上,逐跳准确率分别相对提升96.24%和21.06%。
本文介绍了用于评估大语言模型中编辑事实性意见能力的FactualOpinionEditing with Evidence (FOE)基准,并提出了一种自生成证据对齐方法来改善意见-证据对齐。
本文对LLMs中基于参数的知识编辑进行了理论分析,揭示了局部编辑如何导致全局推理崩溃,并提供了检索方法优于参数编辑方法的实证证据。
本文介绍了UniKE,这是首个针对统一多模态模型(UMMs)的跨模态知识编辑基准测试,揭示了显著的模态差距:文本编辑实现了92%的效果,但仅有18.5%迁移到图像生成。它提出了Reasoning-augmented Parameter Editing,以改善跨模态迁移,提升幅度高达18.6个百分点。
本文研究了知识编辑方法ROME和MEMIT的内部机制,揭示了这些编辑依赖于一个共同的权重功能子空间,且是抑制而非覆盖知识,从而解释了编辑为何无法传播到相关事实。
本文研究了大型语言模型中序列知识编辑的底层机制,表明许多正则化策略是不必要的,并且稳定性源于正确考虑累积的编辑约束而自然产生。