基于注意力的经验回放框架：用于不可知时间序列预测模型的持续学习

arXiv cs.AI 论文
continual-learning time-series-forecasting attention-mechanism experience-replay catastrophic-forgetting

摘要

本文提出了一种新颖的持续学习框架，用于时间序列预测，该框架利用注意力引导的经验回放，使模型能够适应新的数据分布，同时避免灾难性遗忘。该框架在标准基准和真实世界的水位数据上进行了评估。

arXiv:2607.20493v1 公告类型：新 摘要：深度学习在人工智能领域取得了显著进展，尤其是在机器人、图像和声音处理方面。然而，神经网络的一个主要局限仍然是它们对大型静态数据集的强烈依赖性。在许多实际应用中，由于环境不断演变且动态变化，数据分布随时间变化，这些条件很少得到满足。持续学习旨在通过开发能够逐步适应的模型来解决这一挑战，同时在计算约束下保持稳定性和可塑性之间的平衡。在这项工作中，我们提出了一种新颖的持续时间序列预测框架，旨在通过引入由注意力机制引导的经验回放策略，扩展文献中常用的现有静态预测模型。这种方法允许模型动态适应新上下文，同时保留先验知识，有效缓解灾难性遗忘。该框架在标准预测基准以及一个展示多种时间行为的水位数据集上进行了评估。结果表明，我们的方法有效地随时间提高或维持了预测性能，同时降低了再训练成本和数据需求，从而促进了预测模型在动态和实际环境中的部署。
查看原文
查看缓存全文

缓存时间: 2026/07/24 05:02 

# 基于注意力的经验回放框架：面向不可知时间序列预测模型的持续学习

来源：https://arxiv.org/abs/2607.20493  
查看PDF（https://arxiv.org/pdf/2607.20493）

> **摘要：** 深度学习在人工智能领域取得了显著进展，尤其是在机器人、图像和声音处理方面。然而，神经网络的一个主要局限性仍然是对大规模、静态数据集的强烈依赖。在众多真实世界应用中，由于环境不断演变且动态变化，数据分布随时间改变，这些条件往往难以满足。持续学习旨在应对这一挑战，通过开发能够逐步适应的模型，同时在计算约束下保持稳定性与可塑性之间的平衡。本文提出了一种新颖的持续时间序列预测框架，旨在扩展文献中常用的静态预测模型，通过引入基于注意力机制引导的经验回放策略。该方法使模型能够在动态适应新场景的同时保留先前知识，有效缓解灾难性遗忘。该框架在标准预测基准以及一个展现多种时间行为的压电水位数据集上进行了评估。结果表明，我们的方法能在降低再训练成本和数据需求的同时，随时间有效提升或维持预测性能，从而促进预测模型在动态真实环境中的部署。

## 提交历史

来自：Quentin Besnard [查看邮件](https://arxiv.org/show-email/877aa9f2/2607.20493) [通过CCSD代理]  
**[v1]** 2026年6月12日 星期五 11:44:05 UTC (925 KB)

相似文章

重新思考持续学习中的迁移：一种基于回放的实现方式

arXiv cs.LG

本文介绍了一个框架，用于判断在持续学习中何时应该期待迁移，并提出了选择性回放迁移（TSR），该机制选择预计对当前任务有益的回放数据，而非不加区分地回放过去的示例。TSR在保持稳定性的同时改善了前向迁移，优于现有的回放基线。

ACLArena：多阶段后训练中的智能体持续学习

Hugging Face Daily Papers

本文介绍了ACLArena，这是一个用于评估多阶段后训练中智能体持续学习的框架，分析了遗忘和泛化机制，并提出了使用离线重放和LoRA专家的改进ACL方案。

Homeostatic Continual Learning

arXiv cs.AI

本文提出了Homeostatic Continual Learning，一种使AI代理在变化环境中持续学习而不发生灾难性遗忘的方法，通过检测离群点并逐步扩展世界模型来实现。