我们打造了一款应用,让你在手机上完全离线运行AI(本地大语言模型)。非常适合在飞行、露营或无信号区域使用。
摘要
介绍了Cortex AI,一款通过优化本地模型在手机上完全离线运行AI的应用,解决了隐私和连接问题。
大家好,不久前,我们意识到一个很大的痛点:当你真的需要AI来总结文档、快速写点代码或者进行头脑风暴时,通常你正在飞机上、地铁里,或者信号很差的地方。结果呢,ChatGPT连不上。而且,把所有个人数据喂给云服务器也带来了日益增长的隐私担忧。于是,我和我的团队开始琢磨一个问题:“如果我们直接在手机硬件上运行AI会怎样?”几个月来,我们利用晚上和周末的时间努力让这件事变得顺畅,最终成果就是Cortex AI。逻辑非常简单:你从我们的库中下载一个高度优化的小型本地模型到设备上。将手机设为飞行模式,脱离网络——AI完全在本地回复。零数据离开手机。100%私密。我们为此构建的一些实际应用场景包括:在长途飞行中获取编程帮助或总结离线文档;出国旅行时无需昂贵的漫游套餐就能快速得到答案;进行私人想法的头脑风暴,不想被OpenAI或谷歌抓取。注意:我们确实有一个可选的“在线模式”,如果你想连接像GPT-4或Claude这样的大型模型,但本地离线模型是完全免费的,这也是我们目前真正想测试的部分。我们现在正在努力收集本地执行方面的真实用户反馈。我不是来发个链接就捞钱的;我们真心希望改进离线移动AI领域。如果有人经常旅行、露营,或者就是喜欢本地大语言模型,如果你能测试一下,我们将非常感激。像“在我的设备上运行太慢”、“需要某个功能”或“UI这部分不合理”这类直率的反馈正是我们目前所需要的 :)
相似文章
Off Grid AI
Off Grid AI 推出了一款免费开源的本地 AI 应用,可在手机和电脑上离线运行模型,支持聊天、文档阅读、图像问答、语音对话和图像生成,并可在设备间协同调用更大的模型,无需联网或账号。
我开发了一款在本地运行AI模型的安卓应用
一位开发者创建了一款在本地运行AI模型的安卓应用,支持GGUF和LiteRT格式,并提供了多种添加模型的方式。
是什么阻碍了 App 把用户设备当成服务器、本地跑 LLM?
一位用户思考为何更多 App 不在手机上直接跑本地 LLM,指出 Gemma 2-4B 模型已能离线运行,在接近 GPT-4o 质量的同时还能省掉服务器成本。
在你的iPhone上运行(最大的)本地模型
一款工具或应用,让用户能直接从iPhone上运行大型本地AI模型,将设备端LLM推理带到iOS。
我的 AI 智能体完全离线运行在手机上。诀窍是别让小模型自由发挥
开发者介绍 NIDO,一个完全在 Android 手机上离线运行的开源 AI 助手,通过确定性路由让小模型(0.5B-7B)只处理真正开放式的任务,并发布了 0.1.29 至 0.1.32 四个 alpha 版本,新增多语言短语路由、重复提醒等功能。