小型AI模型在不稳定网络地区获得关注

# 小型语言模型驱动拯救生命的小型AI 来源：https://spectrum.ieee.org/small-language-models-ai-pharmaceuticals 2019年的一天早上，阿德巴约·阿隆格（https://adebayoalonge.com/）在开普敦的一家酒店房间里，准备展示他初创公司针对非洲医疗保健领域一个严重问题（假药，每年导致非洲大陆数千人死亡）的AI解决方案。 RxScanner（https://rxall.net/rxscanner/）是一款手持式光谱仪，用红外光扫描药片，然后将药物的分子图谱发送给配备药品数据库的AI模型。几秒钟内，AI就能根据分子图谱识别出药物——或者报告这是假药。 药店已在十几个国家使用该系统，包括加纳、肯尼亚、缅甸以及阿隆格的祖国尼日利亚。但那天早上在南非（https://spectrum.ieee.org/tag/africa），它却失灵了。“我惊呆了，”阿隆格说。 光谱仪连接到了AI模型——但数据中心在14000公里之外，且带宽有限。“我们的服务器在美国，仅仅获取一次扫描结果就花了超过5分钟。” 于是阿隆格立即要求他的工程师将AI模型缩小成一个更小、低功耗、无需联网的版本，可以完全运行在他的安卓手机上。他们两小时后便完成了，这次演示得以挽救。 更重要的是，这项工作催生了他设备的新版本，可以在没有宽带、电脑甚至稳定电力的地方验证药片真伪。这也让阿隆格成为这种“小型AI”的倡导者。 ## 小型AI助力全球医疗（https://spectrum.ieee.org/tag/global-health）服务可及性 小型AI（https://spectrum.ieee.org/tag/small-language-models）与富裕国家庞大的大型语言模型（https://spectrum.ieee.org/tag/large-language-models）（LLM）、超大规模数据中心（https://spectrum.ieee.org/tag/data-centers）、数十亿美元的投资以及关于AI意识（https://spectrum.ieee.org/interview-max-tegmark-on-superintelligent-ai-cosmic-apocalypse-and-life-3-0）的争论相去甚远。但对于全世界数百万人来说，唯一重要且通常唯一可用的AI就是小型AI。（根据世界银行（https://www.worldbank.org/en/publication/dptr2025-ai-foundations）11月发布的一份报告，世界上最贫困国家中只有0.7%的互联网用户使用过ChatGPT，而在最发达国家，这一比例为四分之一。） “大多数人都在从LLM/生成式AI的角度讨论AI。但这需要大量的计算能力、电力、海量数据以及熟练人员来管理，”世界银行行长阿贾伊·班加去年1月在达沃斯世界经济论坛（https://www.ndtv.com/world-news/small-ai-is-indias-secret-weapon-ajay-banga-tells-ndtv-at-davos-10833458）上表示。“在发达国家以外，除了印度和中国可能例外，很少有国家同时具备这些条件。” 相比之下，小型AI可以为那些不具备任何这些条件的地区的人们提供有用甚至拯救生命的服务，班加说。在印度，政府AI计划要求更多发展小型AI，许多此类系统正在为农民服务。 例如，由印度韦洛尔理工大学的巴拉·穆鲁根及其同事（https://www.science.org/doi/epdf/10.1126/science.adw7713）开发的基于无人机的系统，拍摄腰果树照片，并快速识别出带有表明疾病斑点的树木。所有处理都在无人机上进行，因此现场无需计算机，也无需连接中央服务器。 通过使用针对特定问题训练的小型语言模型（有时运行在廉价、低功耗设备上），其他小型AI实现已被开发出来，用于识别乌拉圭葡萄园中的蚂蚁侵扰（https://universe.roboflow.com/juan-abedala/deteccion-hormigas-cortadoras）、检测多个国家是否存在携带疟疾的蚊子（https://dl.acm.org/doi/fullHtml/10.1145/3524458.3547258），以及在巴西部分无法使用更复杂设备的地区从Arduino设备上运行心电图（https://link.springer.com/chapter/10.1007/978-3-031-49407-9_63）。 “这是当今AI最重要的领域，”参与了所有这些项目的巴西伊塔茹巴联邦大学工程与信息系统研究所教授马塞洛·何塞·罗瓦伊（https://www.linkedin.com/in/marcelo-jose-rovai-brazil-chile/）说。“它发展非常迅速。” ## 设备上的低功耗小型AI模型 两块开发板和一个物联网开发平台在同一张实验桌上同时运行。小型AI模型可以运行在各种低功耗设备上，包括（从左到右）Arduino Nano 33 BLE Sense、Seeed Wio Terminal和Arduino Portenta。Moez Altayeb 对于阿隆格、罗瓦伊以及其他倡导者来说，小型AI不仅仅是世界银行11月报告所称的“一个有希望的趋势”。从长远来看，它可能是将触及最多人生活、并且在某些巨型模型对大多数用户来说过于昂贵后仍能保持可持续性的AI形式。 “我认为AI的未来不是一个位于中心的巨型模型。我认为是数百万个精确的小型模型部署在边缘，每个解决一个特定的问题、一个特定的场景，”阿隆格说。这部分是因为人类的大部分——包括富裕国家和发展中国家部分地区的人们——生活在无法接触到前沿模型的环境中。但他表示，也是因为这些模型不可持续。 “如果没有人补贴，大多数人将负担不起这些模型。因此，我们这些被称为小型AI开发者的人，将不得不为世界上的大多数人构建系统，”阿隆格说。 “小型AI”没有严格的定义，但人们通常用它来指代参数最多几十亿的语言模型。（相比之下，前沿模型可以包含超过一万亿个参数。）这足够小，可以直接在手机或树莓派上运行。这使得这些应用可以在不连接数据中心的情况下运行在设备上，并且仅消耗几瓦的功率，通常由电池或太阳能板供电。 罗瓦伊表示，尽管体积小，但这些模型的技术与巨型AI模型并无根本不同。许多小型语言模型实例的创建方式与阿隆格的药品扫描仪基于手机的版本相同——通过“剪枝”大型模型，即移除不参与特定任务的参数。罗瓦伊说，结果是一个总体上能力较弱，但在其被剪枝所针对的特定任务上仍然非常出色的系统。 一个带有简单设计的椭圆形小设备，有一个按钮、一个盖子和四个小指示灯。RxAll的RxScanner光谱仪的轻量版本将结果发送到手机上本地运行的AI模型，以检查药物的分子特征是否真实。RxAll 其他小型模型通过“蒸馏”创建。罗瓦伊说，它们被训练来模仿大型模型，直到其性能接近它们的“老师”。在其他情况下，例如降低较大模型的精度，使得原本在32位架构上运行的模型能够在8位设计上运行。在机器学习（https://spectrum.ieee.org/tag/machine-learning）应用用于分类数据或预测模式（如蚂蚁侵扰）的情况下，它从一开始就在小型设备上训练，而不是从大型模型衍生而来。 罗瓦伊表示，运行所有这些小型、专门的系统正变得越来越容易，原因有两个。 第一个原因是硬件性能越来越好、功能越来越强，同时功耗更低，他说。这意味着越来越多的手机可以运行小型AI——尤其是那些配备了神经网络处理单元（处理AI任务如人脸识别、调整照片亮度、阴影或对比度的专用芯片）的手机。 2025年，全球出货的智能手机中略超过三分之一能够运行生成式AI，到今年年底这一数字将达到45%，根据技术研究公司Counterpoint（https://counterpointresearch.com/en/insights/genai-smartphone-share-to-rise-to-45-percent-of-global-shipments-in-2026）的数据。到明年底，略超过一半的智能手机将能够运行小型AI模型。 罗瓦伊提到的第二个原因是语言模型体积的缩小。谷歌DeepMind的Gemma 4（https://deepmind.google/models/gemma/gemma-4/）（4月发布）和阿里巴巴的Qwen 3.5（https://qwen.ai/blog?id=qwen3.5）对于小型AI来说都“非常出色”，罗瓦伊说。这两个模型都是“开放权重”的，意味着用户可以根据需要调整参数之间的连接。这使得例如“从牛奶行业获取大量数据，并专门针对该数据进行模型再训练”变得容易，罗瓦伊说。 罗瓦伊在一次Zoom通话中，用他最近的实验之一说明了这些原因。他举起一个设备说：“这是新的Arduino UNO Q——一个价值50美元、配备高通芯片组的设备。我正在这里运行一个语言模型，它从传感器收集数据并分析这些数据，以检测蚊子可能滋生的微小水洼。运行它只需要3瓦功率。” ## 对小型AI开发的支持 世界银行确信已有数百万人受益于这类应用，现在通过赠款、指导项目、融资、技术建议以及有利于小型AI发展的政府政策模型，积极推动小型AI。例如，在卢旺达，世界银行支持一项政府计划，帮助低收入家庭获得能够运行AI的设备。 话虽如此，没有人声称大型语言模型会完全消失。罗瓦伊说，要创建能够在手机或其他小型设备上运行的生成式AI，需要更大模型在架构上的洞察、数据处理和结果。“我们需要大型模型来创建这些较小的模型。” 尽管小型AI可以使无法使用大型AI的人们受益，但阿隆格表示，这项技术无法解决发展和数字不平等的更大问题。实施小型AI并不能让各国逃避创建一个支持AI的生态系统所面临的挑战：可靠的电力、运转良好的供应链，以及培养创造AI工具所需人才的教育体系。 尽管他的药物扫描系统可以在没有连接的手机上运行数天，“你仍然希望能够定期同步，以更新药物的新特征和分析数据，”阿隆格说。“而且即使你使用电池，可靠的电力也很重要。那块手机电池不会永远持续下去。” 他说，在世界许多地方，小型AI的未来并不确定。“它是有效的，许多地方最终将需要使用它。问题在于政治参与者是否有足够的智慧来投资基础设施以长期支持它。”