标签
本文介绍了一种受生物学启发的神经架构,该架构遵循Dale约束——神经元和突触具有固定符号——同时仍支持使用非负误差信号和局部Hebbian更新的类反向传播学习,并在Tiny ImageNet上取得了性能提升。
介绍“扩散责任”方法,使神经网络在严格遵守戴尔原则的同时,通过误差扩散和模误差路由实现竞争性学习,在图像分类和强化学习上取得良好效果,且无需权重传输。
作者描述了实现由 Geoffrey Hinton 提出的生物上合理的神经网络训练算法。
介绍了Score Broadcast and Decorrelation (SBD),一种原则性的基于广播的信用分配框架,该框架可推广到包括交叉熵、Bregman散度和适当评分规则在内的可微损失族。该工作为三因子学习规则提供了理论基础,并在CIFAR-10和Tiny ImageNet上展示了相较于现有广播方法的性能提升。