Dale约束下深度网络中的学习

# 深度网络中的Dale约束学习  
来源：https://arxiv.org/html/2608.06963  
Roy Abel 魏茨曼科学研究所 [email protected] & Shimon Ullman 魏茨曼科学研究所 [email protected]  

###### 摘要  

生物学合理的学习模型旨在解释神经回路如何在真实神经元的约束下实现有效的学习。尽管已取得重大进展，但一个主要的剩余挑战是，现有模型常常允许神经元或突触表示混合符号值（同时为正和负），这违反皮层回路的一个基本方面——Dale定律：生物神经元要么是兴奋性的，要么是抑制性的，但不会两者兼具，而且突触不能改变符号。在这项工作中，我们通过引入一种具有生物学动机的神经架构来解决这一差异，在该架构中，神经元活动和学习信号都由非负活动表示，突触具有固定符号，同时仍然支持类似反向传播的学习。我们的方法使用两个互补且相互作用的非负通道来表示正贡献和负贡献，这受到大脑中开-关（ON-OFF）表示证据的启发。这些通道通过一个简单的神经回路基序实现，该基序在网络中的前馈和反馈通路中重复出现。结合局部Hebbian学习规则，所得模型仅使用神经元之间的局部相互作用来传播学习信号并更新权重。我们从理论上证明，尽管我们的学习方案仅依赖非负误差信号，但它可以精确恢复反向传播更新。在经验上，除了满足更强的生物学约束外，开-关架构学习了有效的表示，在Tiny ImageNet基准上相较于可比较的标准网络取得了显著提升。这些结果表明，有效的学习可以从生物学合理的机制中涌现，而无需混合符号信号，这为更现实的神经计算模型迈出了一步。  

## 1 引言  

深度学习已成为系统神经科学的重要框架，其中架构、目标函数和学习规则充当关于大脑神经回路的计算假设（Richards 等人，2019（https://arxiv.org/html/2608.06963#bib.bib304））。反向传播是现代深度学习背后的核心机制，但其计算在生物神经回路中的直接实现仍然难以与大脑已知特性相协调（Rumelhart 等人，1986（https://arxiv.org/html/2608.06963#bib.bib7）；Whittington 和 Bogacz，2019（https://arxiv.org/html/2608.06963#bib.bib90）；Lillicrap 等人，2020（https://arxiv.org/html/2608.06963#bib.bib79））。这样的实现将需要用于全局目标优化、非局部信用分配、紧密匹配的前馈和反馈通路以及带符号误差信号在网络中传播的机制。这些挑战催生了大量关于生物学合理学习的文献，包括预测编码、平衡传播、反馈对齐、目标传播和树突学习模型（Lee 等人，2015（https://arxiv.org/html/2608.06963#bib.bib10）；Lillicrap 等人，2016（https://arxiv.org/html/2608.06963#bib.bib54）；Scellier 和 Bengio，2017（https://arxiv.org/html/2608.06963#bib.bib14）；Whittington 和 Bogacz，2017（https://arxiv.org/html/2608.06963#bib.bib18）；Guerguiev 等人，2017（https://arxiv.org/html/2608.06963#bib.bib305）；Sacramento 等人，2018（https://arxiv.org/html/2608.06963#bib.bib306）；Payeur 等人，2021（https://arxiv.org/html/2608.06963#bib.bib307）；Hinton，2022（https://arxiv.org/html/2608.06963#bib.bib243）；Abel 和 Ullman，2024（https://arxiv.org/html/2608.06963#bib.bib303）；Oliviers 等人，2026（https://arxiv.org/html/2608.06963#bib.bib317））。这些方法的共同目标是在用局部、生物学合理的计算替代机制的同时，保留基于梯度的信用分配的计算优势。  

一个特别根本的障碍是带符号量的表示。在人工网络中，激活值、误差、梯度和突触权重是可以为正或负的数值变量。然而，在生物回路中，神经元活动是非负的：神经元以非负的放电率发放，不能直接传递负活动（Lillicrap 等人，2020（https://arxiv.org/html/2608.06963#bib.bib79））。此外，神经元受到Dale定律的约束：每个神经元具有固定的兴奋性或抑制性身份，因此其向外的突触效应具有相同符号（Strata 和 Harvey，1999（https://arxiv.org/html/2608.06963#bib.bib308））。也就是说，单个神经元不能同时产生正向和负向的向外影响。因此，生物学合理的学习机制不仅需要解决如何在局部计算信用分配，还需要解决如何在受Dale约束的网络中进行计算：带符号的激活值和带符号的学习信号必须使用正的神经元活动和固定符号的突触连接来表示。  

现有工作解决了该问题的部分方面，但没有解决这些约束的完整组合。预测编码和相关模型表明，局部误差单元可以近似、并且在某些设置下可以恢复类似反向传播的更新（Whittington 和 Bogacz，2017（https://arxiv.org/html/2608.06963#bib.bib18）；Song 等人，2020（https://arxiv.org/html/2608.06963#bib.bib65）；Salvadori 等人，2022（https://arxiv.org/html/2608.06963#bib.bib259））。最近的改进进一步对预测编码误差神经元施加非负放电率（Alonso 和 Neftci，2021（https://arxiv.org/html/2608.06963#bib.bib311）），但它仍然没有强制执行Dale定律：除非突触影响受到符号约束，否则同一个神经元可能仍然介导正向和负向的向外效应。相比之下，Dale式神经网络明确强制执行兴奋性/抑制性结构，这已被证明能带来强大的表达能力和鲁棒性（Barranca 等人，2022（https://arxiv.org/html/2608.06963#bib.bib309）；Haber 和 Schneidman，2022（https://arxiv.org/html/2608.06963#bib.bib310）），但这些网络通常使用反向传播或其他基于梯度的优化过程进行训练。因此，尽管最近的模型做出了重要贡献，但使用局部生物学机制执行有效的监督信用分配的问题仍未解决。  

一种可能的解决方案是通过成对的非负神经群体来表示带符号的学习信号，而不是通过单个混合符号误差单元。Lillicrap 等人（2020（https://arxiv.org/html/2608.06963#bib.bib79））认为，皮层反馈可能通过诱导其差值近似误差信号的神经活动来支持信用分配。Franzioni 等人（2026（https://arxiv.org/html/2608.06963#bib.bib312））的最新实验证据进一步支持大脑中的类反向传播学习，报告了具有对学习相反的正、负贡献的向量化树突反馈信号，以及通过正群体之间的差异表达的任务变量。这些发现共同表明，带符号的误差信号可能从非负神经活动之间的结构化相互作用中涌现，但实现这一原理的具体神经回路架构和局部学习机制仍然是开放的。  

在这项工作中，我们引入一种由兴奋性和抑制性神经元组成的开-关（on-off）神经回路基序。该回路产生两个非负输出通道，对应于被表示量的正分量和负分量。该基序在网络中以自下而上和自上而下的结构重复出现（Gilbert 和 Li，2013（https://arxiv.org/html/2608.06963#bib.bib227）），因此前馈激活和反馈误差信号都由成对的非负通道表示，同时保持兴奋性/抑制性分离。我们进一步提出一种局部Hebbian学习更新，它将自下而上的活动与成对的自上而下反馈信号相结合。一个自上而下的群体贡献正的突触更新，另一个群体贡献负的更新，因此通过它们的组合影响恢复有效的带符号学习信号。这样，该模型通过从成对的正神经群体中涌现的有效带符号信号来实现信用分配，同时保持固定的兴奋性和抑制性回路结构。  

我们从理论上证明，在对称的自下而上和自上而下连接下，所提出的学习方案尽管只传播非负误差通道，仍能恢复反向传播更新。在经验上，我们表明该模型在图像分类基准上能有效学习，并且可以胜过可比较的标准架构，这表明开-关表示除了其生物学动机外还能提供计算优势。  

## 2 背景  

##### 核心生物学约束。  

我们关注对生物神经计算至关重要的三个约束。第一，神经元活动是非负的：神经元通过放电率或尖峰进行通信，因此不能直接表示负标量值。第二，突触影响受到符号约束。在Dale定律下，每个神经元具有固定的兴奋性或抑制性身份，这意味着其向外的突触效应具有相同符号。第三，突触可塑性是局部的：突触更新应依赖于突触处或突触附近的量，而不是依赖全局计算的梯度。这些约束共同排除了标准人工神经元的直接生物学实现，因为标准人工神经元依赖带符号的激活值和不受符号约束的权重。  

##### 生物学合理的信用分配。  

大量工作试图用更具生物学合理