论文页面 - ORBIT: 通过原始调节合并保留生成式检索中的基础语言能力

来源：https://huggingface.co/papers/2605.12419

摘要

ORBIT通过跟踪参数距离并采用权重平均策略来维持模型性能，解决了大语言模型在生成式检索微调中的灾难性遗忘问题。

尽管大语言模型（LLM）发展迅速，但针对特定任务进行微调往往会导致其通用语言推理能力的灾难性遗忘。本研究在生成式检索（GenRetrieval）任务的背景下探讨并解决了这一挑战。在生成式检索微调过程中，我们发现这种遗忘会迅速发生，并且与微调后模型与原始模型参数之间的距离相关。基于这些观察，我们提出了ORBIT，一种新颖的方法，它主动跟踪微调权重与初始模型权重之间的距离，并在生成式检索微调期间，当这种模型间距离超过最大阈值时，采用权重平均策略来约束模型漂移。我们的结果表明，ORBIT通过优于常见的持续学习基线以及同样采用权重平均的相关正则化方法，保留了可观的文本和检索性能。

查看arXiv页面（https://arxiv.org/abs/2605.12419）查看PDF（https://arxiv.org/pdf/2605.12419）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.12419）

在您的智能体中获取此论文：

hf papers read 2605.12419

没有最新的CLI？curl \-LsSf https://hf.co/cli/install.sh \| bash

引用此论文的模型0

没有模型链接此论文

请在模型README.md中引用arxiv.org/abs/2605.12419以从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

请在数据集README.md中引用arxiv.org/abs/2605.12419以从此页面链接。

引用此论文的Space0

没有Space链接此论文

请在Space README.md中引用arxiv.org/abs/2605.12419以从此页面链接。

包含此论文的收藏0

没有收藏包含此论文

请将此论文添加到收藏（https://huggingface.co/new-collection）以从此页面链接。