我们是否低估了小型边缘AI模型？[D]

Reddit r/MachineLearning 新闻
edge-ai on-device-ai small-models computer-vision tensorflow lite-rt synthetic-data

摘要

一位开发者认为，边缘AI社区忽视了那些可以在智能手机等设备上本地运行的小型专门模型，并以自建的离线摩尔斯电码识别功能为例。该项目使用了小于5MB的AI模型，基于TensorFlow/Keras和LiteRT，从数据生成到移动端集成的整个流程均为自建。

近期关于边缘AI的讨论大多集中在运行越来越大的本地大语言模型上。与此同时，现代智能手机已具备足够的计算能力来处理许多实际的计算机视觉任务，这些任务根本不需要巨大的模型。我最近构建并发布了一个Android功能，能够对图像和实时摄像头画面中的手写及印刷体摩尔斯电码进行离线识别。最终的解决方案结合了轻量级机器学习和计算机视觉技术，完全在设备上运行。AI模块小于5MB，完全离线工作，并使用LiteRT在Android设备上进行推理。这个项目特别有意思的地方在于，整个机器学习流程都是从零搭建的：数据采集、合成数据集生成、标注、模型训练、评估、移动端优化以及Android集成。训练是在个人GPU工作站上使用TensorFlow/Keras完成的，而标注和数据集准备则依赖于Label Studio和自定义的数据生成工具。虽然这个问题本身相当小众，但这个项目让我思考：我们是否忽略了一类小型、高度专业化的模型？它们可以在没有云基础设施或大型基础模型的情况下，本地解决实际任务。你认为哪些实用的边缘AI应用目前尚未得到充分探索？演示视频展示了该功能完全在设备上运行：• 下载可选AI模块 • 实时摄像头识别 • 图像识别 • 模块移除 [https://youtube.com/shorts/Y2qOK0N1Bvk](https://youtube.com/shorts/Y2qOK0N1Bvk)
查看原文

相似文章

我对本地AI未来的看法

Reddit r/LocalLLaMA

作者预测，10B至40B参数范围内的小型专用AI模型将通过提供针对特定领域的高效、设备端智能，颠覆大型AI公司。