80亿参数模型通过离线应用可在iPhone 15上无需联网运行
摘要
现在，一个80亿参数的AI模型可以通过专用应用在iPhone 15上离线运行，实现无需互联网的设备端推理。
暂无内容
相似文章
3970亿参数AI成功运行于iPhone
一个3970亿参数的AI模型已成功在iPhone上运行，展示了使用混合专家设计的设备端AI能力，尽管在速度、存储和散热方面面临挑战。
@rohanpaul_ai：Gemma 4（特别是其面向边缘优化的 E2B 与 E4B 量化版）通过 Locally 等应用，在 iPhone 上实现完全离线运行……
Google 的 Gemma 4 E2B/E4B 量化模型现已通过 Locally AI 等应用，在 iPhone 上实现完全离线运行，借助 Apple Neural Engine 进行本地推理。
在你的iPhone上运行（最大的）本地模型
一款工具或应用，让用户能直接从iPhone上运行大型本地AI模型，将设备端LLM推理带到iOS。
我们打造了一款应用，让你在手机上完全离线运行AI（本地大语言模型）。非常适合在飞行、露营或无信号区域使用。
介绍了Cortex AI，一款通过优化本地模型在手机上完全离线运行AI的应用，解决了隐私和连接问题。
@rohanpaul_ai: 设备端小模型的可能性太多了。@adrgrondin 正在 iPhone 17 Pro 上运行 Google 的 Gemma 4 E2B。大约 4…
Google 的 Gemma 4 E2B 通过 MLX 优化在 iPhone 17 Pro 上运行演示，达到约 40 tokens/秒，支持 128K 上下文以及离线思考模式，适用于编程和数学。