在微控制器上运行13M参数的ASR Conformer模型

Reddit r/LocalLLaMA 新闻
asr conformer microcontroller edge-ai model-compression low-power

摘要

详细介绍了一种在微控制器上直接运行拥有13M参数的ASR Conformer模型的方法，突出了边缘AI部署的进步。

暂无内容
查看原文

相似文章

在8美元微控制器上运行2890万参数的大语言模型

Hacker News Top

一位开发者演示了如何在仅8美元的ESP32-S3微控制器上运行一个2890万参数的语言模型，利用Google的逐层嵌入技术将大部分参数存储在闪存中，实现了设备端每秒约9.5个token的文本生成速度。

我们是否低估了小型边缘AI模型？[D]

Reddit r/MachineLearning

一位开发者认为，边缘AI社区忽视了那些可以在智能手机等设备上本地运行的小型专门模型，并以自建的离线摩尔斯电码识别功能为例。该项目使用了小于5MB的AI模型，基于TensorFlow/Keras和LiteRT，从数据生成到移动端集成的整个流程均为自建。