人脑运行仅需15瓦。实时模拟人脑则需要27亿瓦。以下是这一差距存在的原因以及当前的对策。
摘要
探讨人脑(15瓦)与AI硬件(实时模拟需数十亿瓦)之间巨大的能效差距,重点介绍旨在缩小这一差距的神经形态计算方案,如自旋忆阻器、相变材料和超级图灵AI。
我一直在深入研究生物神经系统与人工神经网络之间的能效差距,其数字之惊人远超我的预期。人脑在感知、记忆、语言、运动控制、情绪调节和创造性思维方面仅消耗约12-20瓦的功率——大致相当于一盏床头灯。瑞士蓝脑计划(Blue Brain Project)估算,实时模拟人脑的全部处理过程需要大约27亿瓦的电力,相当于三座核电站的发电量。除了显而易见的“生物更高效”之外,以下因素解释了这一差距:
- **无冯·诺依曼瓶颈**:传统计算机中,内存与处理器物理分离,数据不断来回传输,每一步都消耗能量。而大脑中的突触同时承担存储和计算功能,不存在类似的传输过程。
- **稀疏激活**:大多数神经元在任一时刻处于静默状态。功耗与大脑实际执行的任务成正比,而非理论最大值。AI硬件往往让大量晶体管持续切换,即使操作并非立即需要(尽管混合专家架构正试图改进这一点)。
- **事件驱动信号**:神经元仅在放电时产生脉冲,其余时间保持静息。数字晶体管每秒开关数十亿次,每次转换都消耗能量,无论是否有用。
《神经科学前沿》(Frontiers in Neuroscience)中一篇经过同行评审的估算指出,人脑相对于硅基芯片的能效优势约为2.7 × 10¹³倍——这既考虑了每次操作的效率,也考虑到当前硬件模拟生物活动所需的时间比实时慢了约3万倍。
有趣之处不仅仅在于“大脑好,芯片差”。实际上,神经形态计算研究正试图缩小这一差距:
- **TDK/CEA** 开发了工作状态的自旋忆阻器(利用量子磁特性同时充当存储器和处理器,类似突触),目标是将当前AI功耗降至1/100以下。
- **布法罗大学** 正在利用相变材料复制大脑的节律性电振荡。
- **德州农工大学** 的“超级图灵AI”采用赫布学习(“同时放电的细胞会连接在一起”)而非反向传播,并在无人机上进行了测试:该无人机无需预先训练即可在陌生环境中导航,速度更快且能耗低于传统AI。
不过,效率提升往往会被反弹效应抵消。如果神经形态芯片将每次查询成本降低100倍,但使用量增长200倍,总能耗仍会上升。国际能源署(IEA)已两次上调其AI能源消耗预测。
我在这篇文章中提供了更深入的分析及完整来源:https://4billionyearson.org/posts/the-staggering-inefficiency-of-ai-v-the-human-brain
好奇这里的人们如何看待:受大脑启发的架构究竟是真正的可行路径,还是会在规模扩大后遇到新的瓶颈?
相似文章
你的大脑用20瓦就能做到的事情,AI却需要核反应堆才能尝试。上周,一个团队弄清楚了如何打印出能与活体脑细胞对话的东西。
西北大学的研究人员用二硫化钼和石墨烯墨水打印出了人工神经元,能产生生物逼真的电脉冲,活体小鼠脑细胞将其识别为自然信号。这一突破对节能的神经形态计算意义重大。
AI功耗墙:为何边际芯片微缩无法解决能源悖论
文章讨论了‘AI功耗墙’现象,即计算增长超过效率提升,并提出了四个范式转变——神经形态计算、光子计算、以内存为中心的计算和近似计算——以实现可持续的AI发展,同时推广了即将举行的‘Watt Matters in AI’会议,该会议关注全栈能源削减。
一种估算 AI 功耗的更快速方法
来自麻省理工学院(MIT)和 IBM 的研究人员开发了一种快速工具,可在几秒钟内估算 AI 功耗,速度远超传统的模拟方法,有助于优化数据中心的能源效率。
类脑光晶体管通过感知和存储数据,有望降低AI能耗
研究人员开发出一种类脑光晶体管,能够感知和存储数据,有望降低AI能耗。
台积电称能源使用迫使重新思考AI芯片设计
台积电高级副总裁表示,能源效率现已超过原始计算能力,成为AI芯片设计的主要限制因素。这一转变正在推动晶体管密度、先进封装和芯片堆叠方面的变化,以降低功耗。