我开发了一款在本地运行AI模型的安卓应用
摘要
一位开发者创建了一款在本地运行AI模型的安卓应用,支持GGUF和LiteRT格式,并提供了多种添加模型的方式。
我想在这个帖子中添加链接,但做不到,因为要么是照片要么是链接,所以我发了照片。如果你需要链接,直接问我就行。 ​ ​ 几个月前,我想在手机上尝试运行AI模型,找了一些应用,但没找到好用的。​ \- 有些只提供精选模型 \- 有些根据我的设备配置限制模型下载 \- 体验不流畅 \- 不支持后台下载 \- 等等等等 ​ ​ ​ 所以我做了一个,功能如下:--- ​ \- 可以运行任何GGUF或LiteRT模型 ​ ​ \- 有三种方式将模型添加到模型列表 \-> 从推荐的精选模型列表下载(适合不了解的用户) \-> 通过应用内Hugging Face集成下载 \-> 从设备内部存储导入gguf和LiteRT模型 ​ ​ ​ \- 提供两种后端(CPU,Vulkan) \-> 如果你想在设置中设置GPU层,必须将偏好设置为Vulkan。 ​ ​ ​ \- 可以设置系统提示(用于设定角色或告诉模型如何表现) \- 可以修改推理参数 ​ ​ ​ \- 这只是第一个版本。 \-> 即将推出一个新功能,会让它成为最最最棒的(现在先不说是什么) ​ ​ (即使关闭应用,下载也会继续,因此如果需要取消下载,必须手动操作) ​ ​ ​ ​ 我的设备配置 - 运存 - 4GB(最大可用 - 好的时候1.4-1.6GB)存储 - 64GB 系统 - Android 10 ​ 所有截图均来自此设备 ​ 这段文字和应用都不是随意编码的(使用了AI自动补全,仅此而已) ​
相似文章
我们打造了一款应用,让你在手机上完全离线运行AI(本地大语言模型)。非常适合在飞行、露营或无信号区域使用。
介绍了Cortex AI,一款通过优化本地模型在手机上完全离线运行AI的应用,解决了隐私和连接问题。
我把一部安卓手机改造成了支持Vulkan加速的本地大模型节点(GGUF + LiteLLM + Tailscale)
一部安卓手机被重新用作便携式GGUF推理服务器,支持Vulkan加速,并通过LiteLLM暴露兼容OpenAI的端点,借助Tailscale网格集成到自托管的AI集群中。
在你的iPhone上运行(最大的)本地模型
一款工具或应用,让用户能直接从iPhone上运行大型本地AI模型,将设备端LLM推理带到iOS。
现在运行本地模型已经很不错了
作者报告说,运行本地AI模型如今已经表现出色,最近发布的GPT-OSS和Gemma 4等模型使得在本地进行自主编码的准确率达到了前沿模型的大约75%,与几个月前相比有了显著提升。
@ClementDelangue: 本地 AI 正在迎来它的时刻!以下是过去 8 个月每月新增的 GGUF 模型数量及相关见解……
本文强调了 Hugging Face 上本地 AI GGUF 模型创建量的显著激增,近几个月的每月新增量几乎翻倍,超过 9,000 个,这得益于工具的改进以及新的开源权重模型的发布。