用于Forward-Forward学习的自适应多尺度优度聚合

arXiv cs.LG 论文
forward-forward-learning goodness-aggregation local-learning deep-learning neural-networks adaptive-methods

摘要

提出了自适应多尺度优度聚合（AMSGA），这是Forward-Forward算法的一个扩展，通过多尺度优度聚合、自适应难负样本挖掘和层相关阈值，提高了稳定性、鲁棒性和泛化能力，在MNIST和Fashion-MNIST上实现了适度的准确率提升。

arXiv:2605.18804v1 公告类型：新 摘要：我们提出了自适应多尺度优度聚合（AMSGA），这是Forward-Forward（FF）算法的一种新颖扩展，旨在提高局部学习神经网络的稳定性、鲁棒性和泛化能力。AMSGA通过引入跨局部、中间和全局表示的多尺度优度聚合；自适应课程引导的难负样本挖掘；层相关自适应阈值；以及用于优化稳定性的预热余弦退火学习率调度，解决了原始FF框架的几个局限性。这些改进共同强化了FF范式，同时保留了其生物合理性和内存高效特性。在MNIST和Fashion-MNIST上的实验表明，与基线FF算法相比，一致性性能提升，在MNIST上实现了最高+1.45%的提升，在Fashion-MNIST上实现了最高+1.50%的提升，且没有显著的计算开销。我们的结果表明，当优度估计和训练动态被精心设计时，局部学习方法可以变得更具竞争力。
查看原文

相似文章

多目标优化中梯度聚合的统一框架

arXiv cs.LG

本文提出了一个多目标优化中梯度聚合的统一理论框架，建立了收敛到帕累托平稳性的速率。作者引入了一个充分对齐条件，并展示了其在现有算法和新算法（如 capped MGDA）中的应用。