论文页面 - 持续学习机制的组合实现长期记忆

来源：https://huggingface.co/papers/2609.06986

摘要

通过结合数据锚点、功能锚点与权重锚点，并采用合并的低秩更新策略，组合互补的持续学习机制能够显著提升语言模型的长期记忆能力。

语言模型可能需要内化随时间推移而出现的信息，并在多次后续更新中保持记忆。为研究这一挑战，我们引入了长期记忆（long-horizon memorization）这一设定：模型在100个查询-回答任务上通过持续监督微调（continual supervised fine-tuning）进行学习，且在训练过程中不保留早期样本，在推理时不提供任务标识符。序列化更新会导致灾难性遗忘（catastrophic forgetting），而我们评估的任何单一持续学习机制都无法在此时间跨度上保持强记忆保持。我们假设，针对互补遗忘源设计的机制在组合使用时会更有效。我们沿两个设计维度对这些组合进行组织：数据锚点、功能锚点与权重锚点（weight anchor）规定了每次更新应保留哪些先验信息，而低秩分配（low-rank allocation）规则则决定了连续更新的存储位置。为系统性地验证这一假设，我们构建了三个不同的100任务记忆数据集。我们引入了任务级连续减半（successive halving）方法来搜索组合设计空间，并采用析因实验（factorial experiment）来衡量单个因素及交互效应。我们的最佳方法结合了所有三种锚点与合并LoRA（merged LoRA），在所有数据集中均位列前三，并将平均最终记忆保持率从朴素顺序微调的1.2%提升至34.9%，实现了28倍的改进。其中，数据锚点与合并LoRA提供了最大的平均增益，且在所有三个数据集上表现出超加性交互效应。这些结果共同表明，组合互补机制能够比任何单一机制更显著地提升长期记忆能力。

查看arXiv页面 (https://arxiv.org/abs/2609.06986) | 查看PDF (https://arxiv.org/pdf/2609.06986) | 项目主页 (https://compose-cl.github.io/) | GitHub (https://github.com/cozheyuanzhangde/compose-cl) | 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.06986)

在您的代理中获取此论文：

hf papers read 2609.06986

没有最新CLI？运行：curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型

0

暂无模型链接此论文

在模型的README.md中引用 arxiv.org/abs/2609.06986 即可从本页建立链接。

引用此论文的数据集

1

cozzyde/long-horizon-memorization 预览 • 约1小时前更新 • 2个文件 (https://huggingface.co/datasets/cozzyde/long-horizon-memorization)

引用此论文的Space

0

暂无Space链接此论文

在Space的README.md中引用 arxiv.org/abs/2609.06986 即可从本页建立链接。

包含此论文的收藏

0

暂无收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 即可从本页建立链接。