果蝇启发的AI以更少内存快速学习气味

# 受果蝇启发的AI以更少内存快速学习气味 来源：https://www.thebrighterside.news/post/fruit-fly-inspired-ai-learns-smells-quickly-with-far-less-memory/ - 一种名为Spi-Fly的受果蝇启发神经网络，能从极少样本中学习气味类别，并在添加新气味时不遗忘已学知识。 - 该系统采用稀疏活动和简单联想学习，而非传统反向传播，使其能以低精度权重和极少内存运行。 - 经过充分训练后，Spi-Fly的表现仍落后于更强的传统方法，且尚未在混合气味或真实世界传感硬件上进行彻底测试。 果蝇大脑仅含约14万神经元，却能以惊人效率识别气味。研究人员借鉴其部分策略，构建了一种能快速学习气味且内存占用极低的人工系统。 这款名为Spi-Fly的算法采用基于果蝇嗅觉系统建模的脉冲神经网络。冲绳科学技术大学院大学的研究人员针对训练样本、内存和计算能力有限的场景设计了它。 当每种气味仅有少数样本时，该系统表现尤为出色。它还能学习新类别而不会显著遗忘旧知识。 冲绳科学技术大学院大学的合著者杨森表示：“这是映射最清晰的大脑之一；其复杂度足以让我们整体研究大脑，却仍能实现复杂处理。” 左图：果蝇嗅觉（气味分类）脑部回路以圆圈（不同类型神经元）和箭头（活跃通路连接）表示。右图：受果蝇启发的Spi-Fly架构。（来源：神经形态计算与工程学） ### 为每种气味生成的稀疏神经条码 果蝇通过将输入信息扩展到更大的神经群体，然后严格限制保持活跃的细胞数量来处理气味信息。 气味信息传递至称为蘑菇体的脑结构中约2000个Kenyon细胞。每个Kenyon细胞仅接收少量输入信号。 强烈的抑制作用会关闭约95%的细胞。 仅约5%的细胞对特定气味保持活跃，产生一种类似神经条码的稀疏模式。 杨森指出：“它具有特别有趣的嗅觉系统，实现了稀疏编码——一种无需训练就能减少不同信号重叠的计算方案，使我们能以更低能耗高效表征气味。” Spi-Fly通过三层结构重现了这些原理。 输入的传感器值被转换为电信号脉冲。这些输入神经元稀疏且随机地连接到一个更大的隐藏层（主实验中包含1000个神经元）。 隐藏层神经元之间的竞争仅使少部分保持活跃。随后网络强化这些活跃神经元与正确气味输出节点之间的连接。 与传统神经网络不同，Spi-Fly无需通过反向传播调整网络所有部分。 由埃因霍温理工大学和基尔大学的Max及其合作者设计的芯片图像。（来源：埃因霍温理工大学神经形态边缘计算系统实验室） ### 少数样本即可完成学习 研究人员在两种气味数据集上测试了Spi-Fly。 首个数据集包含200个气体传感器记录，代表10种化合物，包括丙酮、氨气、甲烷、甲醇、苯和甲苯。每个记录使用72个传感器。 该网络包含72个输入神经元、1000个隐藏神经元和10个输出神经元。 在此数据集上，Spi-Fly仅需每种气味学习三次即达到峰值性能。 第二项实验采用基于果蝇嗅觉受体建模的合成数据。包含18种气味、5种受体类型和450个电极轨迹。 该版本的Spi-Fly使用5个输入神经元、相同的1000神经元隐藏层和18个输出节点。 它仅需每种气味呈现一次即达到最佳性能。 冲绳科学技术大学院大学神经计算单元的合著者Kevin Max表示：“Spi-Fly在小样本学习中表现最佳，仅需观察少量样本即可轻松分类气味。” 传统训练方法在合成数据集上经过反复训练后最终能达到更高精度，但Spi-Fly的主要优势在于能从稀缺样本中快速学习。 学习后三层网络（规模：[72-1000-10]）的神经元脉冲光栅图。（来源：神经形态计算与工程学） ### 新气味未遗忘旧知识 研究人员还测试了持续学习能力——这是人工神经网络面临的主要挑战。 许多系统存在灾难性遗忘问题。当学习新任务时，内部连接的改变可能损害先前任务存储的信息。 Spi-Fly基本避免了此问题。 团队依次向网络教授成对的气味类别。每学习新类别后，系统会对所有已学类别进行测试。 与联合训练所有类别相比，Spi-Fly未表现出显著性能下降。 而采用时间反向传播（BPTT）训练的脉冲网络表现差很多，最终得分仅略高于随机水平。 研究人员还引入了弹性权重巩固技术，旨在保护重要的旧连接。该技术并未显著改善BPTT的持续学习性能。 Spi-Fly的独特之处在于添加新类别主要影响指向该类别输出神经元的连接。 之前学习的气味所涉及的连接基本保持不变。 Max指出：“它在持续学习方面表现良好，能正确学习新气味分类而不遗忘旧知识，这是标准训练方法面临的灾难性遗忘难题。” Spi-Fly实现了嗅觉分类的小样本学习。（来源：神经形态计算与工程学） ### 低内存设计适配紧凑硬件 当研究人员降低网络权重精度时，另一优势显现。 神经形态硬件常仅用少量数字位存储突触值，因内存有限。 Spi-Fly在6位精度下仍保持有效，且精度下降时性能损失小于BPTT。 在气体传感器数据集上，它在4位精度时甚至优于BPTT。 内存差异更为显著。 反向传播需要在训练期间存储权重、神经活动和梯度。持续学习方法还需额外信息。 Spi-Fly主要需要本地学习和脉冲计数缓冲区。 研究人员估算，在气体传感器实验中，其片外内存需求比BPTT及带弹性权重巩固的BPTT低约五个数量级。 这种缩减对于设计在小型、能耗受限硬件上运行而非依赖强大外部计算机的系统至关重要。 Spi-Fly在类别增量持续学习任务中优于BPTT。（来源：神经形态计算与工程学） ### 真实世界气味仍是更严苛的考验 Spi-Fly仍存在重要局限性。 经过大量重复训练样本后，其分类性能低于更强的传统机器学习方法。 该系统也不更新输入层与隐藏层间的连接，限制了内部表征的优化程度。 尽管对精度下降的耐受性优于BPTT，但在权重精度极低时性能仍然下降。 实验仅使用单一气味。 自然环境中普遍存在混合气味和背景气味，研究人员尚不清楚Spi-Fly分离这些复杂信号的效果如何。 网络在学习过程中需要监督标签，且其性能部分取决于隐藏层规模。 尽管真实果蝇的气味处理涉及精确脉冲时序，但该网络并未显式利用时序信息。 ### 研究的实践意义 Spi-Fly的直接价值在于证明了生物启发学习能同时解决多个实际限制。 该系统能从少量样本学习、抵抗灾难性遗忘，且内存占用远低于传统反向传播。 研究人员正致力于与埃因霍温理工大学和基尔大学合作者开发的气味传感硬件集成该算法。 Max表示：“检测爆炸物、评估过敏原水平、保障食品安全、识别毒品——气味分类的应用范围极其广泛。” 团队最终目标是构建结合化学传感器与类脑处理的人工嗅觉系统。 未来研究需测试混合气味、提升精度、优化权重量化，并在真实硬件上验证性能。 目前，果蝇提供了一堂精炼的课程：复杂学习未必需要庞大大脑或海量计算系统。 ### 深入了解果蝇嗅觉与神经形态学习 以下资源探讨了启发Spi-Fly等系统的稀疏神经编码与持续学习理念： *蘑菇体研究备忘录：从图谱到模型* (https://doi.org/10.1038/nrn1074)：这篇奠基性综述阐释了果蝇蘑菇体如何通过稀疏神经表征支持气味学习与记忆。（*《自然评论神经科学》2003年*） *计数记忆的神经理论* (https://doi.org/10.1038/s41467-022-33577-2)：该理论研究探讨蘑菇体中的稀疏随机投射如何实现高效记忆存储。（*《自然通讯》2022年*） --- - 转基因苍蝇可减少废弃物并阻止其进入填埋场 (https://www.thebrighterside.news/post/genetically-modified-flies-can-reduce-waste-and-keep-it-out-of-landfills/) - 受蜜蜂启发的导航系统使微型机器人无需GPS即可飞行 (https://www.thebrighterside.news/post/bee-inspired-navigation-system-lets-tiny-robots-fly-without-gps/) - 果蝇基因Zelda揭示细胞再生运作奥秘 (https://www.thebrighterside.news/post/fruit-fly-gene-zelda-reveals-secret-of-how-cellular-regeneration-works/) ---