使用Arctic Embed和Bonsai 8B在iPhone 16上演示本地文档提取（52页）（KernelAI应用）
摘要
KernelAI移动应用在iPhone 16上使用Arctic Embed和Bonsai 8B模型进行52页本地文档提取的演示，展示了v2版本的新功能，包括网络搜索和自定义模型导入。
大家好，只是分享KernelAI移动应用中这个酷炫且有用的功能。它几乎适用于任何模型，同时运行8B模型和提取功能的能力相当令人印象深刻。对于IOS 26用户，您可以使用无需安装的Apple基础模型来实现此功能。试试看吧！仅供参考，KernelAI v2已发布，支持许多酷炫功能，如网络搜索、文档提取和导入您自己的模型。显然，该应用是免费的，无广告、无干扰，并将始终保持如此。❤️
相似文章
@rohanpaul_ai: 设备端小模型的可能性太多了。@adrgrondin 正在 iPhone 17 Pro 上运行 Google 的 Gemma 4 E2B。大约 4…
Google 的 Gemma 4 E2B 通过 MLX 优化在 iPhone 17 Pro 上运行演示，达到约 40 tokens/秒，支持 128K 上下文以及离线思考模式，适用于编程和数学。
@rohanpaul_ai：Gemma 4（特别是其面向边缘优化的 E2B 与 E4B 量化版）通过 Locally 等应用，在 iPhone 上实现完全离线运行……
Google 的 Gemma 4 E2B/E4B 量化模型现已通过 Locally AI 等应用，在 iPhone 上实现完全离线运行，借助 Apple Neural Engine 进行本地推理。
@googlegemma: 查看由 @ivanfioravanti 在此发布的原始帖子：
这是一个使用 Apple MLX 在 iPad 上本地运行 Gemma 4 E4B AI 模型的演示，被展示为一个适合儿童的有趣应用。
Show HN：Maple-Preview——在 iPhone 上以 120 tok/s 运行的三值 20B MoE
Maple-Preview 是一个三值 20B MoE 模型，在 iPhone 上每秒可运行 120 个 token，展现了高效的端侧推理能力。
@berryxia: https://x.com/berryxia/status/2067078380017828205
作者实测了PP-OCRv6三档模型并提供了本地部署的开源工具，展示了在OmniDocBench及真实场景下各模型的性能对比，强调轻量专用模型在OCR任务上的优势。