我开发了一款在本地运行AI模型的安卓应用

Reddit r/artificial 工具

摘要

一位开发者创建了一款在本地运行AI模型的安卓应用,支持GGUF和LiteRT格式,并提供了多种添加模型的方式。

我想在这个帖子中添加链接,但做不到,因为要么是照片要么是链接,所以我发了照片。如果你需要链接,直接问我就行。 ​ ​ 几个月前,我想在手机上尝试运行AI模型,找了一些应用,但没找到好用的。​ \- 有些只提供精选模型 \- 有些根据我的设备配置限制模型下载 \- 体验不流畅 \- 不支持后台下载 \- 等等等等 ​ ​ ​ 所以我做了一个,功能如下:--- ​ \- 可以运行任何GGUF或LiteRT模型 ​ ​ \- 有三种方式将模型添加到模型列表 \-> 从推荐的精选模型列表下载(适合不了解的用户) \-> 通过应用内Hugging Face集成下载 \-> 从设备内部存储导入gguf和LiteRT模型 ​ ​ ​ \- 提供两种后端(CPU,Vulkan) \-> 如果你想在设置中设置GPU层,必须将偏好设置为Vulkan。 ​ ​ ​ \- 可以设置系统提示(用于设定角色或告诉模型如何表现) \- 可以修改推理参数 ​ ​ ​ \- 这只是第一个版本。 \-> 即将推出一个新功能,会让它成为最最最棒的(现在先不说是什么) ​ ​ (即使关闭应用,下载也会继续,因此如果需要取消下载,必须手动操作) ​ ​ ​ ​ 我的设备配置 - 运存 - 4GB(最大可用 - 好的时候1.4-1.6GB)存储 - 64GB 系统 - Android 10 ​ 所有截图均来自此设备 ​ 这段文字和应用都不是随意编码的(使用了AI自动补全,仅此而已) ​
查看原文

相似文章

现在运行本地模型已经很不错了

Hacker News Top

作者报告说,运行本地AI模型如今已经表现出色,最近发布的GPT-OSS和Gemma 4等模型使得在本地进行自主编码的准确率达到了前沿模型的大约75%,与几个月前相比有了显著提升。