基于生物启发的随机存内计算硬件学习与决策：第一部分

# 具有概率存内计算硬件的仿生学习与决策：第一部分
来源：https://arxiv.org/html/2609.11281
###### 摘要

动物的学习和决策过程常被建模为贝叶斯过程，即在面对不确定性时，将感觉证据与先验信念整合以指导行为。但产生这一能力的内在神经动力学机制是什么？如何在计算系统中复制这些机制？本摘要讨论了一个基于生物学原理的框架：有噪声的神经与突触动力学通过从内部能量函数进行随机采样来执行推理和学习，分别通过神经和突触的可变性来捕获潜在状态和模型参数的不确定性。这使得预测编码网络等方法能够通过马尔可夫链蒙特卡洛采样来考虑认知不确定性。通过将生物系统中的固有噪声与新兴概率模拟存储器技术中的电噪声进行类比，我们强调了模拟存内计算硬件如何自然成为实现大规模可扩展且高能效概率推理的解决方案。

¹CEA-List, 格勒诺布尔, 法国
²原VERSES AI研究实验室
³现PRAESC AI4now TU Wien, 维也纳, 奥地利

## 引言

动物在不确定和动态环境中表现出非凡的适应性，其行为常近似于贝叶斯推理（Knill and Richards 1996 (https://arxiv.org/html/2609.11281#bib.bib26); Knill and Pouget 2004 (https://arxiv.org/html/2609.11281#bib.bib24); Paunov et al. 2024 (https://arxiv.org/html/2609.11281#bib.bib9)）。这引出了一个假设：大脑通过整合感觉证据与先验预期来执行概率推理，并受不确定性引导。基于能量的建模是理解这一过程的一个有力框架，它将大脑视为一个最小化其内部自由能的物理系统（Hinton et al. 1986 (https://arxiv.org/html/2609.11281#bib.bib7); Friston 2010 (https://arxiv.org/html/2609.11281#bib.bib6)），从而高效地执行推理和学习。这启发了诸如预测编码等计算公式，在该模型中，神经群体持续生成关于感觉输入的预测，并通过最小化预测误差来更新它们，从而隐式地执行贝叶斯推理（Rao and Ballard 1999 (https://arxiv.org/html/2609.11281#bib.bib13); Friston 2005 (https://arxiv.org/html/2609.11281#bib.bib17); Salvatori et al. 2023 (https://arxiv.org/html/2609.11281#bib.bib14)）。生物神经系统（如大脑）本质上是带有噪声的。热力学涨落、随机的神经递质释放以及突触传递的变异性（Fatt and Katz 1950 (https://arxiv.org/html/2609.11281#bib.bib20); Conti et al. 2004 (https://arxiv.org/html/2609.11281#bib.bib21); White et al. 2000 (https://arxiv.org/html/2609.11281#bib.bib19)）在神经元和突触层面引入了随机性（Buesing et al. 2011 (https://arxiv.org/html/2609.11281#bib.bib22); Kappel et al. 2015 (https://arxiv.org/html/2609.11281#bib.bib5)）。然而，这种噪声并非有害，反而可能通过神经和突触的可变性实现基于采样的推理，发挥计算作用。越来越多的证据表明，大脑利用其固有的随机动力学，通过类似于马尔可夫链蒙特卡洛（MCMC）采样的机制来执行贝叶斯推理（Hoyer and Hyvärinen 2002 (https://arxiv.org/html/2609.11281#bib.bib25); Berkes et al. 2011 (https://arxiv.org/html/2609.11281#bib.bib23)）。

在本摘要中，我们提出一个以噪声作为计算资源的仿生学习与决策框架。具体而言，我们讨论了一种能够建模认知不确定性（即关于生成模型参数或结构的不确定性）的新型预测编码（Oliviers et al. 2024 (https://arxiv.org/html/2609.11281#bib.bib16); Sennesh et al. 2024 (https://arxiv.org/html/2609.11281#bib.bib15)）。虽然预测编码已被广泛研究作为感知推理的机制，但其对认知不确定性的处理——尤其是如何处理生成模型的参数或结构的不确定性——仍然探索不足。具体而言，大多数实现方式要么以确定性方式处理突触权重，忽略了权重本身可能代表概率分布的可能性；要么提出了权重上的变分后验（Tschantz et al. 2025 (https://arxiv.org/html/2609.11281#bib.bib8)），这并未反映根据突触采样理论（Kappel et al. 2015 (https://arxiv.org/html/2609.11281#bib.bib5)）由生物噪声引起的持续变化。

我们提出一种途径：通过对底层能量函数中的神经和突触变量施加随机更新，推理和学习会自然地作为生物学上合理的马尔可夫链蒙特卡洛采样过程出现（算法公式化）。此外，我们将大脑中的固有生物噪声与半导体技术中的电噪声进行了类比（贝叶斯神经形态硬件）。正如MCMC采样为神经系统的贝叶斯推理提供了一种生物学上合理的机制，它也为利用模拟神经形态硬件的固有变异性提供了一个框架。这种器件级噪声非但不是限制，反而可以被用作计算资产，实现可扩展、高能效的贝叶斯学习和推理（Dalgaty et al. 2021 (https://arxiv.org/html/2609.11281#bib.bib1); Lin et al. 2025 (https://arxiv.org/html/2609.11281#bib.bib3)）。

## 算法公式化

对于给定观测值\(X\)，神经元群体状态\(\theta\)和突触权重\(\omega\)的未归一化后验概率分布可以表示为：

\[\tilde{P}(\theta, \omega \mid X) = P(X \mid \theta, \omega) \cdot P(\theta, \omega). \quad (1)\]

然后可以使用玻尔兹曼分布将此未归一化后验与\(\theta\)、\(\omega\)和\(X\)的联合能量函数联系起来：

\[\tilde{P}(\theta, \omega \mid X) = \exp\big(-E(\theta, \omega, X)\big). \quad (2)\]

因此，这允许将后验的对数概率写成两个能量函数的组合：

\[\log \tilde{P}(\theta, \omega \mid X) = -E_{\text{L}}(X, \theta, \omega) - E_{\text{prior}}(\theta, \omega). \quad (3)\]

根据能量函数和先验的选择，可以使用马尔可夫链蒙特卡洛方法从神经元状态概率密度函数\(p(\theta)\)和突触权重概率分布\(p(\omega)\)中生成样本。对于具有权重\(\omega\)、潜在变量（神经元）\(\theta\)和预测误差\(e^{(t)} = X - \omega^{(t)}\theta^{(t)}\)的浅层线性预测编码网络，可以使用朗之万动力学通过以下更新来抽取这些样本：

\[\Delta\theta^{(t)} = \tau_{\theta}\left[ \frac{1}{\sigma_{X}^{2}}\, \omega^{(t)\top} e^{(t)} - \frac{1}{\sigma_{\theta}^{2}}(\theta^{(t)} - \mu_{\theta}) \right] + \sqrt{2\tau_{\theta}}\, \epsilon_{\theta}^{(t)},\]
\[\Delta\omega^{(t)} = \tau_{\omega}\left[ \frac{1}{\sigma_{X}^{2}}\, e^{(t)} \theta^{(t)\top} - \frac{1}{\sigma_{\omega}^{2}}\, \omega^{(t)} \right] + \sqrt{2\tau_{\omega}}\, \epsilon_{\omega}^{(t)}, \quad (4)\]

其中\(\epsilon_{\theta}\)和\(\epsilon_{\omega}\)表示高斯单位噪声，\(\tau_{\theta}\)和\(\tau_{\omega}\)分别是神经和突触的时间常数，\(\mu_{\theta}\)是潜在神经元的先验均值，而\(\sigma_{X}^{2}\)、\(\sigma_{\theta}^{2}\)和\(\sigma_{\omega}^{2}\)分别是高斯似然、潜在先验和零均值权重先验的方差。与突触采样理论一致，权重在比神经活动更慢的时间尺度上演化，即\(\tau_{\omega} \ll \tau_{\theta}\)（Kappel et al. 2015 (https://arxiv.org/html/2609.11281#bib.bib5)）。当从数据集而非单个观测值中学习时，权重更新的似然项必须进行缩放以反映整个数据集，类似于随机梯度朗之万动力学（Welling and Teh 2011 (https://arxiv.org/html/2609.11281#bib.bib12)），从而确保权重能对给定所有观测值的后验进行采样。

单一混合良好的动力学链从权重后验中抽取样本，因此能捕获认知不确定性，但读取这种不确定性需要等待链在时间上充分混合。并行运行一组链（每个都是在相同权重后验上行走的粒子）则可以通过集间变异性提供认知不确定性的瞬时估计。共享相同结构基序的局部神经回路群（Narayanan et al. 2005 (https://arxiv.org/html/2609.11281#bib.bib10); Yuste et al. 2024 (https://arxiv.org/html/2609.11281#bib.bib11)）可能是这种集合在生物神经网络中得以实现的一种机制。

与依赖Hopfield能量的类似工作不同，我们采用了预测编码能量。Hopfield能量的流行主要源于两个因素：首先，其对称权重避免了计算权重矩阵转置的需要，而这种操作的生物学实现仍存在争议；其次，其动力学已被广泛分析且易于理解。然而，预测编码能量提供了几个优势：其动力学更简单，并且在本文考虑的浅层线性模型中，网络的稳态可以解析获得。它还自然地以生成式公式运行，实现分层高斯模型（Friston 2005 (https://arxiv.org/html/2609.11281#bib.bib17)）。公式(4)中神经元更新出现的转置对于模拟硬件来说不是问题，因为交叉阵列可以双向读取，尽管其生物学合理性仍然是一个悬而未决的问题，这与预测编码更广泛的情况一致。

## 概率模拟存内计算

公式(4)概述的推理和学习算法因其与神经和突触采样理论的共鸣而具有吸引力。然而，它基于在相同后验上运行一组并行的朗之万链。MCMC在传统计算机架构上的执行速度众所周知地慢，使得在大型集上执行所需的算法延迟迅速变得过高。例如，在确定性预测编码模型中，小规模网络的求解大约需要15次迭代（Salvatori et al. 2022 (https://arxiv.org/html/2609.11281#bib.bib4)），而具有朗之万动力学的类似模型则需要超过200次（Oliviers et al. 2024 (https://arxiv.org/html/2609.11281#bib.bib16)）。

正如生物系统充满固有噪声一样，用于构建计算硬件的半导体技术也是如此。热噪声（Johnson 1928 (https://arxiv.org/html/2609.11281#bib.bib28); Nyquist 1928 (https://arxiv.org/html/2609.11281#bib.bib2)）源于导电粒子的布朗运动，散粒噪声（Schottky 1918 (https://arxiv.org/html/2609.11281#bib.bib27)）源于粒子量子克服能垒，而模拟存储器件则因导电细丝形成（Dalgaty et al. 2021 (https://arxiv.org/html/2609.11281#bib.bib1); Lin et al. 2025 (https://arxiv.org/html/2609.11281#bib.bib3)）或磁自旋变化（Dalgaty et al. 2023 (https://arxiv.org/html/2609.11281#bib.bib18)）等机制的随机性而表现出编程变异性。这些物理现象已经被映射到高效的MCMC采样实现中，例如Metropolis调整采样器和朗之万动力学。它们尤其高效，因为模拟存储器件可以用于从概率分布中抽取样本、存储这些样本，然后使用这些存储的样本执行向量算术，所有操作都在存储电路内完成。这与GPU不同，GPU必须从外部高带宽DRAM内存加载参数，受有限带宽限制。这种带宽对本质上可以大规模并行化的算法施加了顺序执行。相比之下，存内计算在结构上是一种大规模并行计算方法，有潜力将基于能量的模型的执行速度提高几个数量级。

## 研究展望

在欧洲卓越网络dAIEDGE内，我们旨在通过展示如何实现基于能量模型（如预测编码）的大规模扩展，来推进概率模拟存内计算范式。此类硬件可以降低显式建模认知不确定性的计算成本，为诸如主动推理等框架开辟新的可能性，在主动推理中，行动由不确定性驱动的探索引导。我们的近期重点是双重的。首先，我们将研究我们提出的贝叶斯预测编码网络在基于能量的框架内进行学习和决策的性能。其次，我们将探索本摘要详述的算法如何能高效地映射到模拟存内计算硬件的固有随机物理上，该物理自然反映了生物系统中观察到的变异性。

## 致谢

此次合作得到欧盟地平线Europe的dAIEDGE卓越网络的支持 - 赠款协议号101120726。

## 参考文献

- Berkes et al. (2011) P. Berkes, G. Orbán, M. Lengyel, and J. Fiser Spontaneous cortical activity reveals hallmarks of an optimal internal model of the environment. Science 331(6013), pp. 83–87. 被引用于：引言 (https://arxiv.org/html/2609.11281#Sx1.p1.1)。
- Buesing et al. (2011) L. Buesing, J. Bill, B. Nessler, and W. Maass Neural dynamics as sampling: a model for stochastic computation in recurrent networks of spiking neurons. PLoS computational biology 7(11), pp. e1002211. 被引用于：引言 (https://arxiv.org/html/2609.11281#Sx1.p1.1)。
- Conti et al. (2004) R. Conti, Y. P. Tan, and I. Llano Action potential-evoked and ryanodine-sensitive spontaneous ca2+ transients at the presynaptic terminal of a developing cns inhibitory synapse. Journal of Neuroscience 24(31), pp. 6946–6957. 被引用于：引言 (https://arxiv.org/html/2609.11281#Sx1.p1.1)。
- Dalgaty et al. (2021) T. Dalgaty, N. Castellani, C. Turck, K. Harabi, D. Querlioz, and E. Vianello In situ learning using intrinsic memristor variability via markov chain monte carlo sampling. Nature Electronics 4(2), pp. 151–161. 被引用于：引言 (https://arxiv.org/html/2609.11281#Sx1.p3.1), 概率模拟存内计算 (https://arxiv.org/html/2609.11281#Sx3.p2.1)。
- Dalgaty et al. (2023) T. Dalgaty, S. Yamada, A. Molnos, E. Kawasaki, T. Mesquida, F. Rummens, T. Shibata, Y. Urakawa, Y. Terasaki, T. Sasaki, et al. Scaling-up memristor monte carlo with magnetic domain-wall physics. In MLNCP2023-37th NeurIPS Machine Learning with New Compute Paradigms workshop, 被引用于：概率模拟存内计算