FLYNN: 利用果蝇大脑拓扑结构的机器人导航鲁棒神经网络

# FLYNN：基于果蝇脑拓扑的鲁棒机器人导航神经网络

来源：https://arxiv.org/html/2607.00025
Benquan Wang¹ 与 Jingdao Chen²
¹Benquan Wang 就职于密西西比州立大学计算机科学与工程系，密西西比州斯塔克维尔 39762，美国，[email protected]
²Jingdao Chen 就职于密西西比州立大学计算机科学与工程系，密西西比州斯塔克维尔 39762，美国，[email protected]

###### 摘要

尽管深度学习模型在复杂任务中取得了最先进的性能，但当面临新环境或感觉剥夺时，它们仍然脆弱。相比之下，生物系统对这些挑战表现出卓越的容忍度。我们通过开发一种循环神经网络（RNN）来解决这一脆弱性，该网络的架构直接源自果蝇（Drosophila melanogaster）的突触分辨率脑连接组。我们证明了训练果蝇连接组神经网络（FLYNN）在 MuJoCo 中执行基于视觉的导航的可行性，其性能可与参数数量相似的现代手工网络相媲美。关键在于，FLYNN 对分布外数据表现出更强的抵抗能力，并且对感觉丧失具有容忍度，而无需进一步训练。即使在完全视觉丧失的情况下，它仍能保持功能，而手工网络即使在专门使用摄像头丢失训练的情况下也大多失败。对 FLYNN 内部状态的主成分分析表明，它表现出特别高的表征模块化程度，这可能是其鲁棒性的原因。我们的工作为遵循生物大脑拓扑设计弹性人工智能体提供了一个新方向。

## I 引言

人工神经网络（ANN）起源于生物启发的人工神经元[20]。自诞生以来，研究人员设计了日益复杂的架构来应对语音识别、图像分类和导航等复杂挑战。尽管现代 ANN 的详细结构主要是手工设计的，但生物大脑仍然是基础灵感来源。卷积神经网络（CNN）[15,13]是这种影响的突出例子，随后还有其他著名架构，包括循环神经网络（RNN）[33]、长短期记忆（LSTM）单元[9]和 Transformer[30]。经过数十年的发展，最先进的 ANN 架构现在在广泛的复杂任务上常常超越人类。

导航是鲁棒性至关重要的领域之一。虽然当前最先进的 ANN 模型在理想条件下表现良好，但已知它们容易受到分布外数据[24]以及传感器信息退化或剥夺的影响。例如，在现代自动驾驶系统中，遇到从未见过的情况或丢失一个摄像头流通常会立即触发紧急接管，因为底层模型被设计为根据其训练策略依赖于所有可用输入的持续集成[5]。

相比之下，生物有机体对所有这些失效模式都表现出非凡的鲁棒性。例如，动物能够轻松适应新环境。失去一只眼睛的动物通常能快速适应并维持其导航能力。这种弹性可能根植于生物大脑的独特架构。例如，在果蝇中，视觉系统由不同且高度组织化的神经纤维网组成——包括 lamina、medulla、lobula plate 和 lobula——专门用于从视觉输入计算光流[36,4]。此外，果蝇大脑的中心复合体包含一群环状神经元，作为导航的航向方向计算器[28,8]。这些良好组织的结构提供了一种结构先验，使有机体即使在未知环境或感觉剥夺下也能维持稳定的内部空间表征。

大量研究集中在改善 ANN 模型在鲁棒导航中的 OOD 泛化能力。努力包括设计专门的训练策略，如域随机化[19,35]，以及开发新的网络架构，如液体神经网络[25,6]。大型语言模型也被探索用于鲁棒导航任务[1,18]。许多研究还集中在增强模型对图像退化、遮挡和完全传感器丢失的容忍度[17,12,16]。然而，在新环境中或在摄像头故障期间保持导航鲁棒性仍然是重大挑战。生物有机体表现出的非凡弹性，加上近期完整的果蝇连接组[7,22]——第一种也是唯一一种具有复杂视觉系统的动物的连接组——的可用性，为开发专门应对这些挑战的生物忠实架构提供了独特机会。据我们所知，这是首次在机器人导航任务背景下利用果蝇连接组的研究。大多数现有工作集中于使用生物逼真模拟来研究和理解大脑不同系统的机制，例如视觉系统[14]和味觉系统[23,31]。

在这项工作中，我们将突触分辨率的果蝇连接组转化为 RNN。通过将网络的连接性约束在这种生物蓝图上，我们继承了生物系统特有的功能冗余和模块化。我们在模拟的 MuJoCo 环境[27]中评估了 FLYNN，并将其与类似参数规模的标准网络（如 EfficientNet-B0[26]、MobileNet-large-v3[10] 和小世界 RNN[32]）进行了比较，并研究了生物神经架构中鲁棒性的来源。

我们的结果展示了三个关键发现：

1.  可行性：一种严格由生物连接性约束的 RNN 架构可以被训练来执行复杂任务，例如基于视觉的多感官导航。
2.  竞争性性能：FLYNN 达到了与参数数量相似的现代手工模型相当的性能水平。
3.  优雅退化：最值得注意的是，与生物有机体一样，FLYNN 对分布外数据和传感器消融表现出独特的鲁棒性，尽管它从未为此进行过训练。

## II 方法

FLYNN 的核心是由连接组中所有连接构建的 RNN。感觉输入被传递到 RNN 中相应的感觉神经元，运动命令通过一个多层感知器从下行神经元中提取，该感知器生成机器人控制输出。本工作中使用的所有感觉神经元和下行神经元（如连接组数据集中果蝇大脑所见）如图1所示。FLYNN 的整体结构如图2所示。

图注：图1：本工作中使用的 FAFB v783 连接组数据集中的感觉神经元和下行神经元子集。图片来源：FlyWire.ai。
图注：图2：FLYNN 的结构。(a) 显示连接组网络及其输入和输出的示意图。(b) 显示从连接组构建的 RNN 的示意图。为简化起见，未包含传感器输入、偏置和激活函数。

### II-A 从连接组到 RNN

果蝇连接组数据集于 2024 年发布[7,22]，可通过 FlyWire.ai 平台公开访问。这是生物学中的一项开创性成果，其中通过获取和分析电子显微镜获得的大脑图像精确绘制了多细胞生物完整大脑的神经元布线图。我们的工作使用了“FAFB v783”版本的连接组，来源于一只雌性成年果蝇，并包含了所有不少于五个突触的连接。整个连接组包含 139,255 个神经元和 5,342,445 个连接，结构化为边列表，其中每个条目指定突触前神经元 ID、突触后神经元 ID 和相应的突触计数。

我们采用简单的漏积分神经元模型来构建网络。具体地，神经元在时间 \(t+1\) 的隐藏状态 \(h\) 由以下递推关系定义：

\[
h^{t+1} = \alpha \odot h^t + (1 - \alpha) \odot \tanh(W h^t + x^t + b)
\]
\[
W = \begin{bmatrix}
w_{1,1} & w_{1,2} & w_{1,3} & \cdots & w_{1,n} \\
w_{2,1} & w_{2,2} & w_{2,3} & \cdots & w_{2,n} \\
w_{3,1} & w_{3,2} & w_{3,3} & \cdots & w_{3,n} \\
\vdots & \vdots & \vdots & \ddots & \vdots \\
w_{n,1} & w_{n,2} & w_{n,3} & \cdots & w_{n,n}
\end{bmatrix}
\]
\[
h^t = \begin{bmatrix} h_1^t \\ h_2^t \\ h_3^t \\ \vdots \\ h_n^t \end{bmatrix}, \quad x^t = \begin{bmatrix} x_1^t \\ x_2^t \\ x_3^t \\ \vdots \\ x_n^t \end{bmatrix}, \quad b = \begin{bmatrix} b_1 \\ b_2 \\ b_3 \\ \vdots \\ b_n \end{bmatrix}
\]
\[
\alpha = \begin{bmatrix} \alpha_{\text{class\_of\_neuron\_1}} \\ \alpha_{\text{class\_of\_neuron\_2}} \\ \alpha_{\text{class\_of\_neuron\_3}} \\ \vdots \\ \alpha_{\text{class\_of\_neuron\_n}} \end{bmatrix}
\]
其中 \(\odot\) 表示逐元素乘法，\(W\) 表示突触权重矩阵，\(h^t\) 表示时间 \(t\) 时所有神经元的状态。向量 \(x^t\) 表示感觉输入。因为只有一小部分神经元接收环境刺激，所以 \(x^t\) 的大多数元素为零。最后，\(b\) 和 \(\alpha\) 分别表示神经元的偏置和泄漏率，约束条件是同一类别的神经元共享统一的泄漏率。每个神经元的类别在连接组数据集中可用。

FLYNN 的核心是一个生物约束的循环架构，代表了完整的 FAFB v783 果蝇连接组。与传统多层网络不同，该网络使用一个单一的隐藏状态向量 \(h^t\)，它根据直接源自连接组的突触连接矩阵 \(W\) 演化。由于 \(W\) 中大多数可能的神经连接在连接组中不存在，矩阵 \(W\) 具有极端拓扑稀疏性（99.9725%），仅将非零权重分配给已确认的生物连接，如图2(b)所示。在这种配置中，网络深度是时间传播和整合的涌现属性：随着离散时间步进的推进，信号从感觉神经元通过中间深层大脑回路传播到下行运动神经元。通过将整个连接组表示为稀疏矩阵，我们保留了所有复杂的、非层次的连接组结构，例如环状吸引子[28,8]，这对于稳定的航向和导航至关重要。

### II-B 输入和输出

为了实现有效的导航，我们将三种基本感觉模态——视觉、风向和触觉信息——集成到网络中，使机器人能够看到障碍物、朝向目标并检测碰撞。

视觉输入通过从机器人两个模拟车载摄像头捕获的图像提供。虽然理论上可以将视觉数据映射到果蝇的光感受器，但左眼中大约一半光感受器的连接数据不完整，使得这种方法不可行。相反，我们绕过了光感受器层，将视觉输入直接映射到光感受器的主要下游目标：L1、L2 和 L3 神经元[36]。摄像头图像首先根据这些 L 神经元的解剖位置进行空间采样，然后将得到的强度值传递给相应的 L 神经元。L 神经元的解剖位置在连接组数据集中可用。由于 L1 和 L2 神经元主要检测运动边界，它们的输入在整合到隐藏状态之前进行了时间滤波以增强边缘对比度。相反，L3 神经元处理环境亮度的缓慢变化，其输入在整合前进行了时间平均。

果蝇利用风向作为定位食物的关键线索。它们检测到食物气味时逆风移动，这种行为称为趋风性[11]。因此，我们使用风向来表示机器人到目标的相对角度。风向主要通过位于触角中的 Johnston's Organ (JO) 感知[3]。虽然目标角度信息理想情况下应直接路由到 JO 神经元，但 JO 神经元的架构复杂性需要一个中间步骤。目标角度首先由一个小型 MLP 处理，其输出然后被映射到连接组中的 JO 神经元。

除了风感，果蝇还使用刚毛神经元收集触觉信息用于碰撞检测和恢复。碰撞数据被映射到连接组中的特定刚毛神经元。虽然刚毛分布在整个身体，但我们简化了输入，仅针对位于头部前部的刚毛。具体来说，头部左侧的碰撞激活了所有对应的左侧头部刚毛神经元。右侧碰撞同理。

果蝇的下行神经元传达运动指令。一个小型 MLP 连接到连接组中所有下行神经元，将编码的隐藏状态转换为机器人的最终轮子命令。2 (https://arxiv.org/html/2607.0