React Native ExecuTorch 现已支持 Gemma 4(Vulkan 和 MLX 加速)
摘要
react-native-executorch 库现已集成 Google 的 Gemma 4 模型,可实现完全离线的 GPU 加速推理,在 Android 上使用 Vulkan 委托,在 Apple Silicon 上使用 MLX 委托。
我们已将 Gemma 4 集成到 **react-native-executorch** 中。现在你可以完全离线地在 React Native 应用中运行它,通过 Android 上的 Vulkan 委托和 Apple Silicon 上的 MLX 委托实现 GPU 加速。附带的演示应用链接请点击[此处](https://github.com/software-mansion/react-native-executorch/tree/main/apps/llm)。
相似文章
@googlegemma: Gemma 4 现在可以使用 React Native 在设备端运行!你现在可以在跨平台应用中完全离线运行 Gemma 4,并支持……
Gemma 4 现在可以使用 React Native 在设备端完全离线运行,通过 Android 上的 Vulkan 和 Apple Silicon 上的 MLX 实现本地硬件加速,支持视觉和工具使用能力,例如阅读传单和安排日程,完全在设备端完成。
React Native ExecuTorch 现在快了高达92倍 🏎️
React Native ExecuTorch v0.10 实现了显著加速,对于像FastSAM这样的AI模型,加速高达92倍,并引入TypeScript管道以提升可检查性和跨平台支持。
Android Studio 原生支持 Gemma 4 在 llama.cpp 上运行
Android Studio 现在原生支持使用 llama.cpp 运行 Gemma 4 AI 模型,具有多 GPU 支持和 128k 上下文长度等功能。
从 RTX 到 Spark:NVIDIA 加速 Gemma 4 赋能本地智能体 AI
NVIDIA 与谷歌合作优化 Gemma 4 模型,以实现在 RTX GPU、DGX Spark 和 Jetson 设备上的本地部署,从而支持高效的端侧智能体 AI,具备推理、编程、多模态能力以及 35 多种语言的支持。
@rohanpaul_ai:Gemma 4(特别是其面向边缘优化的 E2B 与 E4B 量化版)通过 Locally 等应用,在 iPhone 上实现完全离线运行……
Google 的 Gemma 4 E2B/E4B 量化模型现已通过 Locally AI 等应用,在 iPhone 上实现完全离线运行,借助 Apple Neural Engine 进行本地推理。