通过负微分电阻网络桥接函数逼近与器件物理

# 基于量子隧穿效应的全模拟内存神经计算
来源：https://arxiv.org/html/2510.23638
\\equalcont

这些作者对本文贡献相等。

\\equalcont

这些作者对本文贡献相等。

[1]\\fnmXiangwei\\surZhu

[1]\\orgdiv电子与通信工程学院，\\orgname中山大学，\\orgaddress\\city深圳，\\postcode518107，\\country中国

[2]\\orgdiv集成电路学院，未来芯片创新中心，\\orgname清华大学，\\orgaddress\\city北京，\\postcode100084，\\country中国

[3]\\orgdiv量子传感研究所，\\orgname浙江大学，\\orgaddress\\city杭州，\\postcode310027，\\country中国

[4]\\orgdiv生命与环境科学学院，\\orgname杭州师范大学，\\orgaddress\\city杭州，\\postcode311121，\\country中国

\\fnmTeng\\surWang\\fnmJinrong\\surTang\\fnmRuiqi\\surLiu\\fnmHaoyu\\surLi\\fnmYuyao\\surLu\\fnmFeng\\surXu\\fnmBin\\surGao\\fnmCan\\surXie[[email protected]](mailto:[email protected])\*\\[\\[\\[

###### 摘要

全模拟神经计算需要能够同时实现线性和非线性变换的硬件，而不依赖数字辅助。尽管模拟内存计算能高效实现矩阵向量乘法，但缺乏可学习的模拟非线性仍然是一个核心瓶颈。本文介绍 KANalogue，一种完全模拟的 Kolmogorov-Arnold 网络（KAN）实现，它直接利用负微分电阻（NDR）器件实例化单变量基函数。通过将 NDR 器件的固有电流-电压特性映射到可学习的坐标级非线性函数，KANalogue 将函数逼近嵌入器件物理中，同时保持全模拟信号路径。使用冷金属隧道二极管作为代表性平台，我们构建了多种非线性基，并通过基于交叉棒的模拟求和进行组合。在 MNIST、FashionMNIST 和 CIFAR-10 上的实验表明，KANalogue 以显著更少的参数和更高的交叉棒节点效率达到了与模拟 MLP 相比具有竞争力的精度，同时在严格的硬件约束下接近数字 KAN 的性能。该框架不限于特定器件技术，并可自然推广到一大类 NDR 器件。这些结果为可扩展、节能的全模拟神经网络建立了一条基于器件的路径。

###### 关键词：

模拟内存计算，负微分电阻，Kolmogorov-Arnold 网络

参照图注图 1：先前模拟神经架构与本文提出的 KANalogue 框架对比。a，先前工作：传统模拟加速器仅在交叉阵列中实现神经网络的线性运算，而非线性激活保持固定，且必须在模数转换后通过数字方式计算。这种混合流水线限制了效率，并阻碍了全模拟神经计算。b，本工作：KANalogue 采用 KAN 架构，其中可学习的单变量函数位于边上，加法混合在节点处进行。这种结构自然地映射到硬件：线性求和与非线性基评估均在交叉阵列中直接实现，消除了数字非线性处理阶段。c，器件级实现：可学习激活函数使用冷金属隧道二极管（CMTD）实例化。不同的器件几何结构产生多样的非线性 I-V 特性，用作可调基函数 \( T_{k,j,i}(x) \)。通过调整器件横截面积对这些器件导出的基函数进行加权组合，形成模拟边映射 \( \phi_{k,i} \)。这种器件到函数的对应关系实现了基于物理非线性的全模拟计算路径。随着对边缘设备上高效机器学习需求的增长，对传统数字架构替代方案的探索日益迫切，这些传统架构常受限于功耗和延迟约束[ambrogio2023analog,wen2024fusion]。神经形态计算提供了一条引人注目的路径，利用器件物理实现能效和计算密度数个数量级的提升[mead1990neuromorphic,kudithipudi2025neuromorphic]。近期基于阻变存储器（RRAM）和相变存储器（PCM）的模拟内存计算（AIMC）进展已展示了大规模矩阵向量乘法接近软件水平的精度[buchel2024kernel,huang2024memristor,zhang2021computing,LeGallo2023,Rasch2024,aguirre2024hardware,Wu2024,lanza2025growing,wang2023echo]。通过利用欧姆定律和基尔霍夫电流定律，AIMC 阵列在物理上共置存储与计算，原位执行这些线性运算，直接缓解了因在分离的存储与处理单元之间传输数据而导致的冯·诺依曼瓶颈[sebastian2020memory,xi2020memory,seok2024beyond]。然而神经网络并非纯线性系统：它们依赖于交替的线性和非线性变换（图 1 (https://arxiv.org/html/2510.23638v2#S0.F1)a）。一个关键障碍仍然存在，因为大多数模拟加速器仍将非线性激活函数委托给数字电路，打破了全模拟神经流水线的愿景并限制了整体效率[buchel2024kernel,Yang2025]。

Kolmogorov-Arnold 网络（KAN）提供了一个解决这一差距的机会。受 Kolmogorov-Arnold 表示定理[kolmogorov1957representations]启发，KAN 将边权重替换为可学习的坐标级基函数。这种结构区别将表达能力从稠密矩阵乘法转移到单变量非线性变换，从而能够实现与传统多层感知机根本不同的紧凑模型[liu2025kan]。关键在于，这也使 KAN 特别适合模拟实现：每个基函数原则上可以直接由物理非线性器件实例化。再加上相比传统网络参数数量减少，KAN 有望提供更小的硬件占用和更低的能耗。近期的变体已被应用于符号回归[sidharth2024]、物理系统建模[aghaei2025fkan,bozorgzadeh2024wavelet,toscano2024kkan]、遥感图像分类[cheon2024remote]和分子性质预测[li2025kolmogorov]。尽管有这些优势，KAN 迄今为止仅在数字或混合平台上实现[huang2025hardware,peng2024photonic]，其模拟潜力尚未被充分探索。

具有负微分电阻（NDR）的非线性器件提供了一条有前景的途径来弥合这一差距。Esaki 二极管[esaki1958new]、共振隧道二极管[tsu1973tunneling,chang1974resonant]以及近期设计的冷金属器件[theoretical,Bodewei2024] 自然展现出类似激活函数的非线性电流-电压特性。先前的工作已展示了使用 NDR 器件实现脉冲神经元[Donati2024]、双稳态逻辑门[McNaughton2025]，或在忆阻器交叉棒中仿真软件定义的非线性[Yang2025]。然而，将器件级非线性直接集成到基于函数的架构中尚未实现。

本文介绍 KANalogue，一个使用 NDR 器件作为单变量基函数物理实例化来实现 Kolmogorov-Arnold 网络的框架（图 1 (https://arxiv.org/html/2510.23638v2#S0.F1)b）。NDR 器件展现出固有的非线性、非单调的电流-电压特性，提供了丰富的表达能力。此外，多个 NDR 元件可以组合以实现更复杂的非线性函数，进一步扩展模拟节点的表达能力（图 1 (https://arxiv.org/html/2510.23638v2#S0.F1)c）。这一特性允许 KAN 节点以更少的单元逼近复杂映射，提高了节点效率并实现了更紧凑的网络实现。通过将这些器件特性映射到 KAN 的功能组件，KANalogue 在量子电子行为与神经计算之间建立了直接桥梁。通过基于冷金属隧道二极管的仿真和代理建模，我们展示了 NDR 启用的 KAN 在标准基准上实现了具有竞争力的精度，同时减少了参数数量并消除了数字非线性计算。当扩展到更大系统时，这种模拟实现自然展现出统计鲁棒性：通过分布式计算平均掉单个器件的变异和噪声，赋予整体网络一定程度的误差容忍度。这项工作将理论函数逼近与器件级物理相结合，指向基于新兴、可制造器件技术的可扩展全模拟神经网络。

## 结果

### KANalogue：基于器件的 KAN

参照图注图 2：KANalogue 框架。a，KART 将任意连续多元函数表示为单变量函数的有限叠加。这种结构可视为一个两层网络，其中单变量映射位于边上，加法混合在节点处进行。b，KAN 通过堆叠多个此类层将此构造推广为深度架构，每条边携带一个可学习的单变量函数。c，在原始 KAN 中，每个单变量函数由具有可训练系数的 B 样条展开参数化。d，KANalogue 将这些基函数转移到硬件中，用 NDR 器件的非线性 I-V 特性替代数字 B 样条。e，KANalogue 层的模拟交叉棒实现。每条边组合多个 NDR 器件，每个节点根据基尔霍夫电流定律执行电流求和。f，一个 2×2 物理交叉棒的示意图，展示了器件几何结构如何编码有效电导。g，KANalogue 层的矩阵形式表示。非线性器件响应在每个边上形成可学习的基函数，而跨阻放大器（TIA）将求和电流转换为输出电压。KANalogue 通过将单变量基函数映射到 NDR 器件的非线性 I-V 响应，直接在硬件中实现 KAN。该构造基于 Kolmogorov-Arnold 表示定理（KART）[kolmogorov1957representations]，该定理指出任何连续函数 \( f: \mathbb{R}^n \to \mathbb{R} \) 可写为单变量函数的有限叠加：

\( f(x_1,\ldots,x_n) = \sum_{q=1}^{2n+1} \Phi_q\left( \sum_{p=1}^{n} \phi_{q,p}(x_p) \right), \)   (1)

其中 \( \Phi_q(\cdot) \) 和 \( \phi_{q,p}(\cdot) \) 是单变量映射。这种分解可视为一个两层网络，其中单变量函数位于“边”上，节点处的求和实现加法混合（图 2 (https://arxiv.org/html/2510.23638v2#Sx1.F2)a）。

KAN 通过放弃特定的界限 \( 2n+1 \) 并堆叠多个这样的层形成深度架构来推广这一思想（图 2 (https://arxiv.org/html/2510.23638v2#Sx1.F2)b）。每条边关联一个可学习的单变量函数，在原始表述中由 B 样条展开参数化：

\( \mathrm{B\text{-}spline}(x) = \sum_i c_i B_i(x), \)   (2)

其中 \( B_i(x) \) 是样条基函数，\( c_i \) 是可训练系数（图 2 (https://arxiv.org/html/2510.23638v2#Sx1.F2)c）。学习这些系数使 KAN 具有强大的逼近能力，同时保留植根于 KART 的结构化表示。

KANalogue 将此功能结构转移到模拟领域。每个基元不是数字方式实现 \( B_i(x) \)，而是由 NDR 器件的测量或仿真 I-V 特性来实例化（图 2 (https://arxiv.org/html/2510.23638v2#Sx1.F2)d）。因此，一个 KAN 边被实现为一个小型模拟电路，组合多个器件导出的基函数，而 KAN 节点对应于由基尔霍夫电流定律支配的电流求和（图 2 (https://arxiv.org/html/2510.23638v2#Sx1.F2)e-g）。通过将基函数直接嵌入器件物理，KANalogue 保留了 KAN 的表达能力，同时实现了从输入到输出的全模拟信号路径。

### 全模拟 KAN 架构

要在硬件中完全实现 KAN，需要将所有 KAN 层组件——包括其非线性基函数、线性混合操作和信号范围调节——在模拟领域实现。在 KANalogue 中，非线性单变量变换由 NDR 器件提供，其 I-V 特性作为物理可实现的基函数。这些器件导出的非线性通过模拟交叉棒阵列线性组合，该阵列通过电导加权求和自然执行向量矩阵乘法。为确保所有信号保持在硬件的物理工作范围内，模拟流水线进一步包含硬限幅机制和归一化策略，其参数在训练后融合到层权重中。

参照图注图 3：CMTD 结构及其拟合的非线性 I-V 特性。a，扶手椅取向的 NbSi₂N₄ / HfSi₂N₄ 异质结构，隧道势垒为 21 Å。b，锯齿形取向的异质结构，势垒长度相同为 21 Å。c，锯齿形器件，势垒较短为 15 Å，突出了势垒厚度对隧穿行为的影响。d，混合锯齿形-扶手椅-锯齿形构型，势垒区域为 15 Å。e-h，从 DFT-NEGF 仿真（点）获得的相应 I-V 特性及其平滑样条拟合（实线），用作 KANalogue 中的模拟非线性基函数。不同几何结构和取向的变化说明了非线性变换的器件级可调性。 #### 器件导出的非线性基函数

在模拟领域实现 KAN 的一个核心要求是可配置的单变量非线性函数，可作为基变换。NDR 器件自然满足这一要求：其非单调的电流-电压（I-V）特性提供了平滑且可调的非线性响应，可通过材料选择和器件几何结构进行塑造。虽然多个器件家族表现出 NDR 行为——包括 Esaki 二极管、共振隧道结构和带间隧道器件——我们重点关注冷金属隧道二极管（CMTD），它提供了更广泛的设计空间和更大的材料级可编程性[sasioglu2022proposal,zhang2024high]。

CMTD 表现出强烈的几何依赖性非线性行为：原子排列、势垒厚度和电极构型的变化直接修改峰值和谷值电流、NDR 窗口的起始点以及冷隧穿斜率。使用基于第一性原理密度泛函理论的非平衡格林函数（DFT-NEGF）仿真（方法），我们生成 I-V 特性