3970亿参数AI成功运行于iPhone

Reddit r/ArtificialInteligence 新闻
on-device-ai mixture-of-experts apple-silicon local-llm iphone ai-inference

摘要

一个3970亿参数的AI模型已成功在iPhone上运行，展示了使用混合专家设计的设备端AI能力，尽管在速度、存储和散热方面面临挑战。

一个3970亿参数的AI刚刚在iPhone上运行。不是演示视频——是手机本身，在断网状态下生成文本。设备端AI已经如此强大，这个视频将展示具体实现过程以及你今天能实际运行什么。我们深入分析混合专家设计，它让96%的模型处于休眠状态；苹果三年前的论文预言了这一切；flash-moe团队为何删除自己的缓存代码后速度提升38%；以及它在哪些方面仍有不足——速度、存储和散热——这样你就能分辨哪些是真实的，哪些是炒作。如果你想让AI在自己的硬件上运行，而不是在别人的服务器上，这就是未来的发展方向。点击观看：3970亿AI成功运行于iPhone #OnDeviceAI #iPhone #AI #LocalAI #MixtureOfExperts #AppleSilicon #OnDeviceAI #LocalLLM
查看原文

相似文章