我开发了一款在本地运行AI模型的安卓应用
摘要
一位开发者创建了一款在本地运行AI模型的安卓应用,支持GGUF和LiteRT格式,并提供了多种添加模型的方式。
我想在这个帖子中添加链接,但做不到,因为要么是照片要么是链接,所以我发了照片。如果你需要链接,直接问我就行。 ​ ​ 几个月前,我想在手机上尝试运行AI模型,找了一些应用,但没找到好用的。​ \- 有些只提供精选模型 \- 有些根据我的设备配置限制模型下载 \- 体验不流畅 \- 不支持后台下载 \- 等等等等 ​ ​ ​ 所以我做了一个,功能如下:--- ​ \- 可以运行任何GGUF或LiteRT模型 ​ ​ \- 有三种方式将模型添加到模型列表 \-> 从推荐的精选模型列表下载(适合不了解的用户) \-> 通过应用内Hugging Face集成下载 \-> 从设备内部存储导入gguf和LiteRT模型 ​ ​ ​ \- 提供两种后端(CPU,Vulkan) \-> 如果你想在设置中设置GPU层,必须将偏好设置为Vulkan。 ​ ​ ​ \- 可以设置系统提示(用于设定角色或告诉模型如何表现) \- 可以修改推理参数 ​ ​ ​ \- 这只是第一个版本。 \-> 即将推出一个新功能,会让它成为最最最棒的(现在先不说是什么) ​ ​ (即使关闭应用,下载也会继续,因此如果需要取消下载,必须手动操作) ​ ​ ​ ​ 我的设备配置 - 运存 - 4GB(最大可用 - 好的时候1.4-1.6GB)存储 - 64GB 系统 - Android 10 ​ 所有截图均来自此设备 ​ 这段文字和应用都不是随意编码的(使用了AI自动补全,仅此而已) ​
相似文章
我们打造了一款应用,让你在手机上完全离线运行AI(本地大语言模型)。非常适合在飞行、露营或无信号区域使用。
介绍了Cortex AI,一款通过优化本地模型在手机上完全离线运行AI的应用,解决了隐私和连接问题。
Antigravity SDK 引入本地 AI 模型支持
Google 宣布 Antigravity SDK 现在支持本地 AI 模型工作流,通过 LiteRT 提供 Gemma 4 26B A4B,实现离线智能体能力,带来隐私保护、成本效益和混合编排等优势。
我把一部安卓手机改造成了支持Vulkan加速的本地大模型节点(GGUF + LiteLLM + Tailscale)
一部安卓手机被重新用作便携式GGUF推理服务器,支持Vulkan加速,并通过LiteLLM暴露兼容OpenAI的端点,借助Tailscale网格集成到自托管的AI集群中。
在你的iPhone上运行(最大的)本地模型
一款工具或应用,让用户能直接从iPhone上运行大型本地AI模型,将设备端LLM推理带到iOS。
Off Grid AI
Off Grid AI 推出了一款免费开源的本地 AI 应用,可在手机和电脑上离线运行模型,支持聊天、文档阅读、图像问答、语音对话和图像生成,并可在设备间协同调用更大的模型,无需联网或账号。