将 Gemma 4 12B 引入您的笔记本电脑：通过 Google AI Edge 解锁本地、自主工作流

# 将 Gemma 4 12B 带入您的笔记本电脑：使用 Google AI Edge 解锁本地智能体工作流 Source: https://developers.googleblog.com/bringing-gemma-4-12b-to-your-laptop-unlocking-local-agentic-workflows-with-google-ai-edge/ Google DeepMind 最新的开放模型 Gemma 4 12B (https://blog.google/innovation-and-ai/technology/developers-tools/introducing-gemma-4-12B/) 旨在将智能体、多模态智能直接带到您的笔记本电脑上。通过将模型优势与 Google AI Edge 技术栈相结合，您可以立即在普通机器上动手构建和实验（请参阅模型卡片了解规格要求 (https://huggingface.co/litert-community/gemma-4-12B-it-litert-lm)）。 这种模型与运行时的组合释放了强大的设备端能力，涵盖从自主数据处理和生成丰富的可视化洞察，到构建功能完整的网页以及执行日常工具使用。您现在就可以通过 Google AI Edge 开始与 Gemma 4 12B 交互： - **探索 Gemma 与 Google AI Edge Gallery**，我们本地的 AI 展示应用，**现已支持 macOS** (https://developers.google.com/edge/gallery)。使用 12B 模型，您可以即时生成并执行脚本，以完成数据分析等任务。 - **Google AI Edge Eloquent** 设备端语音听写应用，**现已支持 macOS** (https://ai.google.dev/edge/eloquent)。我们新增了通过语音命令*交互式*润色和重写文本的功能，完全在设备端运行，由新的 Gemma 4 12B 模型驱动。 - **LiteRT-LM** 现在可以通过 LiteRT-LM CLI (https://ai.google.dev/edge/litert-lm/cli) 中的新 **serve** 命令 (https://ai.google.dev/edge/litert-lm/cli/openai_server) 直接从终端提供本地、兼容行业标准的端点。当与 Gemma 4 12B 配合使用时，这成为**为完全本地的智能体工具、框架和工作流提供动力**的高效且强大的选择。 ### **在 MacOS 上使用 Google AI Edge Gallery 进行编码** Google AI Edge Gallery 应用现已支持 macOS，它展示了 Gemma 4 12B 的编码能力，让您可以直接在设备上从数据中提取有意义的见解。通过无缝的界面，您只需用自然语言描述分析目标。在下面的例子中，我们要求模型“使用 Python 程序生成一个图表 PNG，以比较 2024 年与 2025 年最受欢迎的 10 个女孩名字”，同时提供包含数据的两份文本文件。作为响应，模型动态生成 Python 代码，在本地执行，并将原始数据转换为美观、易于理解的视觉化效果和洞察。 抱歉，您的浏览器不支持播放此视频 在高级编码方面，Gemma 4 12B 不仅能编写脚本。在一个复杂的 3D 渲染任务中，我们观察到仅通过一次用户提示，模型就能生成一个包含依赖说明的橡胶鸭子渲染，生成代码并自我纠正，所有步骤都在单轮对话中完成。 rubber_duck_3d_plot 提示：“使用 trimesh 编写一个 Python 程序，将附带的 obj 文件渲染为 PNG 文件” 立即在 macOS 上下载 Google AI Edge Gallery (https://developers.google.com/edge/gallery)，体验 Gemma 4 12B 的本地编码功能。 ### **使用 Google AI Edge Eloquent 进行听写和语音驱动编辑** 抱歉，您的浏览器不支持播放此视频 Google AI Edge Eloquent (https://ai.google.dev/edge/eloquent) 是我们由 AI 驱动的听写和编辑应用，能够无缝地将您原始的杂乱想法转化为精炼文本。新的 MacOS 桌面版在全部功能特性上 100% 在设备端运行，确保强大的完全离线体验。通过便捷、可自定义的热键，Eloquent 让您能够在 Mac 上的任何应用中通过语音听写输入。此外，Eloquent 还支持对音频或视频文件进行完全本地转录。 借助 Gemma 4 12B 的高级推理能力，我们推出了 **Voice Edit** 新功能，让您只需通过语音命令就能在桌面工作流中转换任何文本。例如，您可以高亮一个段落并说：“将这些笔记重组为一份执行摘要”，或者“将其翻译成印地语”。与之前的模型相比，我们看到 Gemma 4 12B 在指令遵循、范围严格遵从方面有了巨大提升，整体质量跃升超过 60%。 立即在 macOS 上下载 Google AI Edge Eloquent (https://ai.google.dev/edge/eloquent)，体验 Gemma 4 12B 作为完全本地的 AI 听写和编辑助手的强大功能。 ### **使用 LiteRT-LM 进行构建，包括即插即用的本地服务** **LiteRT-LM CLI** (https://ai.google.dev/edge/litert-lm/cli) 提供了一个轻量级、零代码的工具来在本地运行语言模型。我们现在通过 **serve** 命令 (https://ai.google.dev/edge/litert-lm/cli/openai_server) 扩展了该工具，使 CLI 能够充当即插即用的本地 LLM 服务器。将此功能与 Gemma 4 12B 结合使用，可以将任何标准工具、SDK 或框架（例如 OpenClaw、Hermes、OpenCode、Pi 或流行的扩展如 Continue 和 Aider）直接指向您的本地端点。 `` # 将 Gemma 4 12B 模型导入为 "gemma4-12b" litert-lm import --from-huggingface-repo=litert-community/gemma-4-12B-it-litert-lm gemma-4-12B-it.litertlm gemma4-12b # 启动兼容 OpenAI 的服务器 litert-lm serve `` Shell 复制 `` curl http://localhost:9379/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "gemma4-12b,gpu", "messages": [{"role": "user", "content": "你好！"}] }' `` Shell 复制 抱歉，您的浏览器不支持播放此视频 演示 LiteRT-LM CLI serve 命令：创建一个兼容行业标准的本地端点，将 Gemma 4 12B 连接到 Open WebUI 以实现单次粒子效果演示。 ## **可随时在普通笔记本电脑上使用** 运行 Gemma 4 12B 使设备端 AI 驱动功能广泛普及到普通笔记本电脑。请查看 LiteRT-LM 模型卡片 (https://huggingface.co/litert-community/gemma-4-12B-it-litert-lm) 了解性能和内存基准。通过将这一新模型强大的能力与 Google AI Edge 优化的性能和易用性相结合，您可以构建多轮本地智能体、在 Google AI Edge Gallery 中分析数据，或者使用 Google AI Edge Eloquent 优化您的写作。此外，您的数据将保留在设备上，同时保持可靠的响应速度、实用性和成本效益。 ### **致谢** 我们要特别感谢以下对本项目做出重大贡献的人员（按字母顺序排列）： Advait Jain, Alice Zheng, Alex Kanaukou, Ami Kubota, Changming Sun, Cormac Brick, Denis Daletski, Fengwu Yao, Hriday Chhabria, Jingxiao Zheng, Jingtao Zhou, Jenn Lee, Jianing Wei, Jing Jin, Lin Chen, Lu Wang, Marius Kintel, Marissa Ikonomidis, Matthias Grundmann, Mogan Shieh, Mohammadreza Heydary, Matthew Soulanille, Na Li, Qidong Zhao, Queenie Zhang, Ram Iyengar, Rishika Sinha, Sachin Kotwani, Suleman Shahid, Suril Shah, Tenghui Zhu, Wai Hon Law, Weiyi Wang, Xiaoming Hu, Xinan Cheng, Yi-Chun Kuo, Yishuang Pang, Yu-hui Chen。