基于注意力的经验回放框架：用于不可知时间序列预测模型的持续学习

arXiv cs.AI 论文
continual-learning time-series-forecasting attention-mechanism experience-replay catastrophic-forgetting

摘要

本文提出了一种新颖的持续学习框架，用于时间序列预测，该框架利用注意力引导的经验回放，使模型能够适应新的数据分布，同时避免灾难性遗忘。该框架在标准基准和真实世界的水位数据上进行了评估。

arXiv:2607.20493v1 公告类型：新 摘要：深度学习在人工智能领域取得了显著进展，尤其是在机器人、图像和声音处理方面。然而，神经网络的一个主要局限仍然是它们对大型静态数据集的强烈依赖性。在许多实际应用中，由于环境不断演变且动态变化，数据分布随时间变化，这些条件很少得到满足。持续学习旨在通过开发能够逐步适应的模型来解决这一挑战，同时在计算约束下保持稳定性和可塑性之间的平衡。在这项工作中，我们提出了一种新颖的持续时间序列预测框架，旨在通过引入由注意力机制引导的经验回放策略，扩展文献中常用的现有静态预测模型。这种方法允许模型动态适应新上下文，同时保留先验知识，有效缓解灾难性遗忘。该框架在标准预测基准以及一个展示多种时间行为的水位数据集上进行了评估。结果表明，我们的方法有效地随时间提高或维持了预测性能，同时降低了再训练成本和数据需求，从而促进了预测模型在动态和实际环境中的部署。
查看原文
查看缓存全文

缓存时间: 2026/07/24 05:02 

# 基于注意力的经验回放框架：面向不可知时间序列预测模型的持续学习

来源：https://arxiv.org/abs/2607.20493  
查看PDF（https://arxiv.org/pdf/2607.20493）

> **摘要：** 深度学习在人工智能领域取得了显著进展，尤其是在机器人、图像和声音处理方面。然而，神经网络的一个主要局限性仍然是对大规模、静态数据集的强烈依赖。在众多真实世界应用中，由于环境不断演变且动态变化，数据分布随时间改变，这些条件往往难以满足。持续学习旨在应对这一挑战，通过开发能够逐步适应的模型，同时在计算约束下保持稳定性与可塑性之间的平衡。本文提出了一种新颖的持续时间序列预测框架，旨在扩展文献中常用的静态预测模型，通过引入基于注意力机制引导的经验回放策略。该方法使模型能够在动态适应新场景的同时保留先前知识，有效缓解灾难性遗忘。该框架在标准预测基准以及一个展现多种时间行为的压电水位数据集上进行了评估。结果表明，我们的方法能在降低再训练成本和数据需求的同时，随时间有效提升或维持预测性能，从而促进预测模型在动态真实环境中的部署。

## 提交历史

来自：Quentin Besnard [查看邮件](https://arxiv.org/show-email/877aa9f2/2607.20493) [通过CCSD代理]  
**[v1]** 2026年6月12日 星期五 11:44:05 UTC (925 KB)

相似文章

重新思考持续学习中的迁移：一种基于回放的实现方式

arXiv cs.LG

本文介绍了一个框架，用于判断在持续学习中何时应该期待迁移，并提出了选择性回放迁移（TSR），该机制选择预计对当前任务有益的回放数据，而非不加区分地回放过去的示例。TSR在保持稳定性的同时改善了前向迁移，优于现有的回放基线。

面向大语言模型/视觉语言模型强化学习的鲜度感知优先经验回放

arXiv cs.CL

# 面向大语言模型/视觉语言模型强化学习的鲜度感知优先经验回放 来源：[https://arxiv.org/html/2604.16918](https://arxiv.org/html/2604.16918) Weiyu Ma1 Yongcheng Zeng2 Yan Song3 Xinyu Cui2 Jian Zhao4 Xuhui Liu1 Mohamed Elhoseiny1 1 阿卜杜拉国王科技大学 (KAUST) 2 中国科学院自动化研究所 (CASIA) 3 伦敦大学学院计算机科学系人工智能中心 4 中关村人工智能研究院 weiyu\.

利用强化微调克服视觉连续学习中的灾难性遗忘

Hugging Face Daily Papers

本文提出保留感知策略优化（RaPO），通过强化微调缓解视觉连续学习中的灾难性遗忘。RaPO采用轨迹级奖励塑形和跨任务优势归一化，缩小了类增量学习和域增量学习中强化微调与监督微调之间的差距。