论文页面 - 几何冲突：解释和控制大型语言模型持续后训练中的遗忘

来源: https://huggingface.co/papers/2605.09608 作者:

,

,

,

,

,

,

,

,

,

摘要

本研究探讨了任务几何结构如何影响大型语言模型（LLM）的持续后训练（Continual post-training），识别出几何冲突（geometry conflict）既是遗忘的原因，也是控制更新整合的机制。

持续后训练旨在扩展大型语言模型（LLMs）的新知识、技能和行为，但目前尚不清楚何时顺序更新能够实现能力迁移，何时会导致灾难性遗忘（catastrophic forgetting）。现有方法通过顺序微调、重放、正则化或模型合并（model merging）来缓解遗忘，但缺乏判断何时引入新更新有益或有害的明确标准。在本工作中，我们通过三个问题研究 LLM 的持续后训练：是什么驱动了遗忘？何时顺序习得的能力会发生迁移或干扰？如何利用兼容性来控制更新整合？我们通过任务几何（task geometry）来回答这些问题：我们将每个后训练任务表示为其参数更新（parameter update），并研究该更新所诱导的协方差几何结构（covariance geometry）。我们的核心发现是：遗忘可以被视为一种相对于状态的更新整合（update-integration）失败，它产生于任务诱导的协方差几何结构与演化中模型状态的几何结构不一致时。当顺序更新与由先前更新塑造的模型状态保持兼容时，能力会发生迁移；而当相对于状态的几何冲突（state-relative geometry conflict）较高时，能力会发生干扰。基于这一发现，我们提出了几何冲突 Wasserstein 合并（GCWM），这是一种无数据的更新整合方法，它通过高斯 Wasserstein 重心（Gaussian Wasserstein barycenters）构建共享的 Wasserstein 度量（Wasserstein metric），并利用几何冲突来门控几何感知的校正。在 Qwen3 0.6B 至 14B 的领域持续和能力持续设置上，GCWM 始终优于无数据基线，在无重放数据的情况下提高了保留率和最终性能。这些结果将几何冲突确定为解释遗忘的信号，也是 LLM 持续后训练的实用控制信号。

查看 arXiv 页面 (https://arxiv.org/abs/2605.09608) 查看 PDF (https://arxiv.org/pdf/2605.09608) GitHub (https://github.com/InfiXAI/Merging-Scaling-Law) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2605.09608)

在您的 Agent 中获取此论文：

hf papers read 2605\.09608

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有链接此论文的模型

在模型 README.md 中引用 arxiv.org/abs/2605.09608 以从此页面链接它。

引用此论文的数据集 0

没有链接此论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2605.09608 以从此页面链接它。

引用此论文的 Spaces 0

没有链接此论文的 Space

在 Space README.md 中引用 arxiv.org/abs/2605.09608 以从此页面链接它。

包含此论文的收藏集 0

没有包含此论文的收藏集

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接它。