使用MetaNCA的架构泛化

# 通过MetaNCA实现架构泛化
来源：https://arxiv.org/html/2607.07743
Sina Khajehabdollahi2 1Mythos Scientific, New York, USA 2独立学者 \*meet@mythos\.science

###### 摘要

自组织是生命的一种涌现属性，由个体组件基于局部信息的集体行为驱动。生物神经元通过突触传递的局部相互作用，能够高效学习，并在生物体生命周期内适应其连接。受这些适应性和局部交互特性的启发，神经细胞自动机（NCA）模型已成功通过纯局部更新规则学习形态发生，展现出在多次更新下的稳定性以及对扰动的鲁棒性。在这项工作中，我们引入了元神经细胞自动机（MetaNCA），这是一种学习局部规则的框架，该规则能够自组织人工神经网络的权重。一个学习到的规则网络仅利用计算图上的局部相互作用，迭代更新任务网络的权重。我们为局部规则网络提出了一种新颖的权重变换器架构，该架构使用线性注意力从相邻权重和隐藏状态中聚合信号。一旦训练完成，规则网络无需反向传播即可生成各种架构的任务网络。我们展示了MetaNCA在MNIST和CIFAR-100上为前馈MLP、CNN和ResNet生成权重，并扩展到200万参数的网络。我们进一步证明，MetaNCA能够泛化到元训练期间未见过的架构，并且训练阶段的架构多样性增强了这种泛化能力。

数据/代码可在以下地址获取：https://github.com/Mythos-Scientific/meta-nca††©2026 Barot, Berenberg & Khajehabdollahi。根据知识共享署名4.0国际（CC BY 4.0）许可发布。

## 引言

反向传播和基于梯度的神经网络优化方法，在很大程度上支撑了深度学习模型在处理大型数据集时的强大能力。然而，这些方法存在诸多缺点：梯度计算的内存消耗、训练过程中架构必须保持不变的要求，以及学习新概念需要大量样本。训练大型模型的功耗和成本，与其在自然界中的类似物（例如哺乳动物大脑）形成鲜明对比，后者功耗低了数个数量级，并受到基因组瓶颈的严格限制，这也极大地限制了其发育所需的描述层级。值得注意的是，基因组的信息容量比神经回路的复杂性低了数个数量级（Zador，2019 (https://arxiv.org/html/2607.07743#bib.bib19); Shuvaev等人，2024 (https://arxiv.org/html/2607.07743#bib.bib20)）。这表明，基因组实际编码的是用于发育和生长神经回路的更通用规则，而非回路本身的特定细节。这种生物学类比指向了一条不同的前进道路，其中目标从缩放大型模型的细节转变为学习生成这些模型的规则。

随着扩展模型的需求持续增长，当前机器学习方法与生物系统之间的这一差距变得越来越难以忽视。这些资源限制不仅影响模型的训练或推理，还影响其在微调和专业化方面的灵活性和适应性，为此，人们已提出了LoRA等方法（Hu等人，2022 (https://arxiv.org/html/2607.07743#bib.bib21)），这些方法在低秩空间中运行以降低成本和维度。因此，对于更通用、高度可压缩模型的需求日益增长，这对训练大型基础模型的现有范例提出了挑战。

现有方法各自从不同的传统出发，解决了这一挑战的不同部分。传统的超网络和权重空间方法可以从紧凑的表示中生成神经网络参数，但在为固定目标架构生成权重矩阵时通常是全局操作的（Ha等人，2016 (https://arxiv.org/html/2607.07743#bib.bib14); Chauhan等人，2024 (https://arxiv.org/html/2607.07743#bib.bib28)）。学习到的可塑性规则提供了局部的、受生物学启发的更新，但跨架构的泛化能力在范围上仍然有限（Miconi等人，2018 (https://arxiv.org/html/2607.07743#bib.bib33), 2020 (https://arxiv.org/html/2607.07743#bib.bib34)）。HyperNCA（Najarro等人，2022 (https://arxiv.org/html/2607.07743#bib.bib30)）和神经发育程序（Najarro等人，2023 (https://arxiv.org/html/2607.07743#bib.bib31); Plantec等人，2024 (https://arxiv.org/html/2607.07743#bib.bib32)）已表明，NCA可以通过局部规则生成网络参数，但它们在固定的网格结构上操作，或从头开始生长拓扑结构，而不是为一系列预指定的架构生成权重。据我们所知，目前没有现有方法能够将计算图上的纯局部权重更新与通过端到端反向传播在架构分布上进行训练结合起来。

为此，我们引入了MetaNCA，这是一种神经细胞自动机，能够通过局部自组织生成各种架构的大型神经网络集成。MetaNCA是图神经细胞自动机，它仅利用模型中计算图上一条边的局部信息，迭代生成模型参数。由于这个局部规则完全基于权重在计算图上的前向和后向邻居（共享其输出和输入节点的边）来定义，因此它本身不依赖于任何特定架构。在训练过程中，MetaNCA必须同时为多种架构生成参数，以确保参数生成规则不会过拟合到特定配置。据我们所知，MetaNCA是第一种学习单一局部规则的方法，该规则能够在不借助反向传播的情况下，在包含数百万参数的未见架构分布上进行自组织。我们在MLP、CNN和ResNet上展示了这些能力。

参照图注图1：权重变换器局部规则网络示意图，展示了其对MLP任务网络中示例权重w w 的更新过程。局部规则的输入包括w w 及其前向邻域N f \mathcal{N}_{f} 和后向邻域N b \mathcal{N}_{b} ，以及它们对应的隐藏状态。交叉注意力输出由a f a_{f} 和a b a_{b} 给出。### 相关工作

我们的方法受到越来越多研究的启发，这些研究致力于弥合复杂动力系统、自组织与深度学习之间的差距。

#### 可塑性

基于可塑性的学习算法是受生物学启发的方法，利用局部学习规则自组织神经网络。它们通过修改网络突触权重作为其局部活性Δ w i j = f ( a { i , j } , w i j ) \Delta w_{ij}=f(a_{\{i,j\}},w_{ij}) 的函数来运作。虽然基于可塑性的方法在生物学上更具根基，但它们往往无法与不关心生物学真实性的现代人工神经网络（例如反向传播算法）竞争。最近，已经有一些工作试图弥合这些局限性，并将更现代的优化技术应用于这些局部学习规则（Miconi等人，2018 (https://arxiv.org/html/2607.07743#bib.bib33), 2020 (https://arxiv.org/html/2607.07743#bib.bib34); Najarro and Risi, 2020 (https://arxiv.org/html/2607.07743#bib.bib39)），从而提升了这些局部学习模型的能力。早期的工作曾进化出一个神经网络本身作为学习规则（Runarsson and Jonsson, 2000 (https://arxiv.org/html/2607.07743#bib.bib4)），但仅在单层网络上进行了演示。然而，迄今为止，这些方法对未见架构的泛化能力仍然有限。

#### 神经细胞自动机

这项工作的概念根源可以追溯到细胞自动机（CA）：简单的基于规则的系统，其中复杂的全局行为纯粹从局部相互作用中涌现。从基本的一维CA（Wolfram, 1983 (https://arxiv.org/html/2607.07743#bib.bib1)）到康威生命游戏（Gardner, 1970 (https://arxiv.org/html/2607.07743#bib.bib2)），这些系统证明了异常丰富的结构，包括自我复制、模式形成和普适计算，可以从应用于网格上的少数几个局部规则迭代产生。

生长型神经细胞自动机（NCA）（Mordvintsev等人，2020 (https://arxiv.org/html/2607.07743#bib.bib5)）将这一直觉形式化到了深度学习时代，用学习到的局部更新函数取代手工制定的规则，这些函数在网格或图上运行，产生让人联想到反应扩散模型的系统。这些系统被证明出奇地强大：NCA此后被训练成能够从单个种子细胞生长并稳健地再生目标模式（Mordvintsev等人，2020 (https://arxiv.org/html/2607.07743#bib.bib5)）、合成纹理（Niklasson等人，2021 (https://arxiv.org/html/2607.07743#bib.bib23)）、对MNIST数字进行分类（Randazzo等人，2020a (https://arxiv.org/html/2607.07743#bib.bib22)），所有这些都不需要全局协调者，其能力完全来自局部规则。这些方法也已被推广到更广泛的任务分布（Guichard等人，2025b (https://arxiv.org/html/2607.07743#bib.bib24), a (https://arxiv.org/html/2607.07743#bib.bib25)）。

#### 超网络

虽然NCA在通过纯局部计算进行模式识别和分类等任务上展示了显著的成功，但我们询问的是，同样的范式是否可以被转向一个更元的目标：即生成神经网络本身的参数。这联系到了日益增长的权重空间学习文献（Han等人，2026 (https://arxiv.org/html/2607.07743#bib.bib29)）：那些直接操作或生成神经网络参数的方法。超网络（Stanley等人，2009 (https://arxiv.org/html/2607.07743#bib.bib35); Ha等人，2016 (https://arxiv.org/html/2607.07743#bib.bib14); Chauhan等人，2024 (https://arxiv.org/html/2607.07743#bib.bib28)）学习从紧凑模型生成更大网络的权重，并已被扩展到持续学习（Von Oswald等人，2019 (https://arxiv.org/html/2607.07743#bib.bib26)）和架构搜索（Brock等人，2017 (https://arxiv.org/html/2607.07743#bib.bib27)）。最近，基于扩散的方法通过学习权重空间上的分布来生成网络参数（Wang等人，2024 (https://arxiv.org/html/2607.07743#bib.bib37)），而超表示学习训练好的网络检查点的可复用嵌入（Schürholt等人，2022 (https://arxiv.org/html/2607.07743#bib.bib38)）。这些方法中的许多都是在层、块或参数子集的粒度上生成参数，这使生成器与特定的目标架构耦合。间接编码如HyperNEAT（Stanley等人，2009 (https://arxiv.org/html/2607.07743#bib.bib35)）是一个值得注意的例外，它通过用每个连接的几何坐标查询CPPN来产生单个权重；然而，这是对坐标函数的单一静态查询，而不是迭代更新规则，并且它不会从权重在计算图上的邻域中聚合信息。MetaNCA则利用权重在计算图上的前向和后向邻域，对每个权重应用迭代局部更新规则，并在架构分布上元训练此规则，这将它与任何特定架构解耦，并实现了跨架构的泛化。

我们工作的最直接前身是HyperNCA（Najarro等人，2022 (https://arxiv.org/html/2607.07743#bib.bib30)），它首次将超网络和NCA结合起来，使用NCA本身作为权重生成机制：一个紧凑的局部规则迭代地发育一个种子状态，其生长模式被读出为策略网络的权重。这种发育范式后来通过神经发育程序（Najarro等人，2023 (https://arxiv.org/html/2607.07743#bib.bib31)）得到了扩展，后者仅通过局部节点间通信来生长网络结构和权重，并进一步朝向具有结构和突触可塑性的自组装网络（Plantec等人，2024 (https://arxiv.org/html/2607.07743#bib.bib32)）。MetaNCA建立在这一系列工作之上，但在一个关键方面与这些发育方法不同：它不是从单独的基板或网格上生长结构或读出权重，其局部规则直接作用于目标计算图的边上，从每个权重的前向和后向邻域更新该权重。通过明确地在多个架构上训练此规则，MetaNCA能够泛化到元训练期间未见过的架构。

## 方法描述

在MetaNCA中，对每个单独的权重应用一个局部规则，该规则利用其局部邻域中的信息来产生更新。一个线性注意力块生成局部感知向量，该向量输入到MLP中，后者更新局部权重和隐藏状态。此过程迭代T = 10 T=10 个时间步。类比于生长型NCA（Mordvintsev等人，2020 (https://arxiv.org/html/2607.07743#bib.bib5)）的工作（其中局部规则神经网络对网格上的像素进行更新），MetaNCA将权重值视为“像素”，而“网格”则是神经网络图。

##### 问题设置。

我们有一个分类任务的数据集D D ，包含样本( x , y ) (x,y) ，分别代表输入和标签，以及一个对应的任务神经网络T \mathcal{T} ，用于对该任务进行预测y ^ = T ( θ ; x ) \hat{y}=\mathcal{T}(\theta;x) 。任务网络T \mathcal{T} 的权重为w i j L ∈ θ w^{L}_{ij}\in\theta ，其中L L 是任务网络的层，i i 和j j 是层L L 权重矩阵的索引。此外，对于每个权重w i j w_{ij} ，任务网络还有一个隐藏状态向量h → i j \vec{h}_{ij} ：一个按权重分配的潜在向量，在更新步骤中随权重一起携带，允许局部规则存储和传达超越标量权重值的信息。在实践中，我们使用许多任务网络来训练局部规则网络以泛化到各种架构，但为简单起见，我们将假设只有一个任务网络来描述MetaNCA。

一个由φ \varphi 参数化的独立局部规则神经网络R R ，更新θ ( t ) \theta^{(t)} 和H ( t ) H^{(t)} ，其中θ ( t ) \theta^{(t)} 表示所有任务网络权重的完整集合，H ( t ) = { h → i j } H^{(t)}=\{\vec{h}_{ij}\} 是对应的所有隐藏状态的集合，两者均在更新步骤t t 时。对于给定的权重w i j w_{ij} ，我们将w i j w_{ij} 的相邻权重和隐藏状态向量作为局部规则网络R的输入。

### 局部规则网络输入。

我们如下定义w w 的邻域作为局部规则网络R R 的输入。我们从特定的权重w w 及其对应的隐藏状态h → \vec{h} 开始。为了给w w 的邻域提供方向感，我们将“前向”邻居和“后向”邻居定义为那些连接到w w 的前向（突触后）和后向（突触前）神经元的权重；参见图1 (https://arxiv.org/html/2607.07743#Sx1.F1) 对前馈层的说明。对于卷积层，参见图2 (https://arxiv.org/html/2607.07743#Sx2.F2) 。w w 的前向和后向邻域分别记为N f ( w ) \mathcal{N}_{f}(w) 和N b ( w ) \mathcal{N}_{b}(w) 。权重随机初始化，而隐藏状态则使用正弦曲线初始化。