在8美元微控制器上运行2890万参数的大语言模型

Hacker News Top 工具
edge-ai microcontroller llm esp32 per-layer-embeddings text-generation tiny-models

摘要

一位开发者演示了如何在仅8美元的ESP32-S3微控制器上运行一个2890万参数的语言模型，利用Google的逐层嵌入技术将大部分参数存储在闪存中，实现了设备端每秒约9.5个token的文本生成速度。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/07/25 23:12

开放求职 · X slvDev · LinkedIn

相似文章

MiniCPM4：面向终端设备的超高效大语言模型

Papers with Code Trending

MiniCPM4 是一款专为终端设备设计的高效大语言模型，通过稀疏注意力、数据筛选、训练算法和推理系统等方面的创新，在0.5B和8B参数版本上实现了强大性能。

微语言模型实现即时响应

Hugging Face Daily Papers

研究人员推出 8M–30M 参数的微型语言模型，可在本地设备瞬间生成前几个词，再由云端模型补全，让智能手表等超受限设备也能拥有响应迅速的 AI 体验。