我们打造了一款应用,让你在手机上完全离线运行AI(本地大语言模型)。非常适合在飞行、露营或无信号区域使用。
摘要
介绍了Cortex AI,一款通过优化本地模型在手机上完全离线运行AI的应用,解决了隐私和连接问题。
大家好,不久前,我们意识到一个很大的痛点:当你真的需要AI来总结文档、快速写点代码或者进行头脑风暴时,通常你正在飞机上、地铁里,或者信号很差的地方。结果呢,ChatGPT连不上。而且,把所有个人数据喂给云服务器也带来了日益增长的隐私担忧。于是,我和我的团队开始琢磨一个问题:“如果我们直接在手机硬件上运行AI会怎样?”几个月来,我们利用晚上和周末的时间努力让这件事变得顺畅,最终成果就是Cortex AI。逻辑非常简单:你从我们的库中下载一个高度优化的小型本地模型到设备上。将手机设为飞行模式,脱离网络——AI完全在本地回复。零数据离开手机。100%私密。我们为此构建的一些实际应用场景包括:在长途飞行中获取编程帮助或总结离线文档;出国旅行时无需昂贵的漫游套餐就能快速得到答案;进行私人想法的头脑风暴,不想被OpenAI或谷歌抓取。注意:我们确实有一个可选的“在线模式”,如果你想连接像GPT-4或Claude这样的大型模型,但本地离线模型是完全免费的,这也是我们目前真正想测试的部分。我们现在正在努力收集本地执行方面的真实用户反馈。我不是来发个链接就捞钱的;我们真心希望改进离线移动AI领域。如果有人经常旅行、露营,或者就是喜欢本地大语言模型,如果你能测试一下,我们将非常感激。像“在我的设备上运行太慢”、“需要某个功能”或“UI这部分不合理”这类直率的反馈正是我们目前所需要的 :)
相似文章
是什么阻碍了 App 把用户设备当成服务器、本地跑 LLM?
一位用户思考为何更多 App 不在手机上直接跑本地 LLM,指出 Gemma 2-4B 模型已能离线运行,在接近 GPT-4o 质量的同时还能省掉服务器成本。
在你的iPhone上运行(最大的)本地模型
一款工具或应用,让用户能直接从iPhone上运行大型本地AI模型,将设备端LLM推理带到iOS。
LumiChats Offline
LumiChats Offline 是一款完全离线运行的免费 AI 工具,零数据采集,优先保障用户隐私和本地处理。
@Saboo_Shubham_: 这是未来。在手机上运行本地模型,借用你的MacBook的计算能力。100%免费,适用于…
LM Studio让你可以在手机上运行本地开源AI模型,通过借用你的MacBook的计算能力,完全免费。
本地 AI 应成为常态
本文指出,出于隐私和可靠性方面的顾虑,不应依赖云端托管的 AI API,并倡导采用设备端 AI 处理模式,文中以一款利用 Apple 本地模型 API 的原生 iOS 应用为例进行了说明。