标签
本文介绍了CMP（认知记忆原语），一种持续学习架构，它使用稀疏关系编码和局部学习来减少灾难性遗忘，在字节级语言建模协议上展示了比使用EWC的Transformer更好的反向迁移。
本文介绍了统计流形上的Fisher宽度和逆Fisher宽度，研究了它们在局部学习界限和各向异性恢复中的作用。证明了两者之间的互补关系，并基于Fisher几何获得了恢复估计。
本文证明现代深度网络中预测编码（PC）使用的Jacobian转置乘积可以分解为局部可用的项，从而消除了自动求导反向传播的需要。提出的WF-Act-PC方法在CIFAR-10/100和Tiny-ImageNet上匹配甚至超越经过调优的反向传播基线，且性能随深度增加而提升。
本文展示了在宽度远大于深度的极限情况下，预测编码网络计算出与反向传播相同的梯度，从而在生物学习与标准神经网络训练之间架起桥梁。
提出了自适应多尺度优度聚合（AMSGA），这是Forward-Forward算法的一个扩展，通过多尺度优度聚合、自适应难负样本挖掘和层相关阈值，提高了稳定性、鲁棒性和泛化能力，在MNIST和Fashion-MNIST上实现了适度的准确率提升。