在微控制器上运行13M参数的ASR Conformer模型

Reddit r/LocalLLaMA 新闻
asr conformer microcontroller edge-ai model-compression low-power

摘要

详细介绍了一种在微控制器上直接运行拥有13M参数的ASR Conformer模型的方法，突出了边缘AI部署的进步。

暂无内容
查看原文

相似文章

在8美元微控制器上运行2890万参数的大语言模型

Hacker News Top

一位开发者演示了如何在仅8美元的ESP32-S3微控制器上运行一个2890万参数的语言模型，利用Google的逐层嵌入技术将大部分参数存储在闪存中，实现了设备端每秒约9.5个token的文本生成速度。

AuroraASR-1M 发布了！

Reddit r/LocalLLaMA

AuroraASR-1M 发布：一个参数量低于 1M 的极小权重共享 Conformer-CTC 语音识别模型，在 LibriSpeech 上训练，支持 FP32/FP16/INT8 多精度，CPU 上也能实现远超实时的推理速度。