直接在PC上运行Chrome的小型Gemma4（即Gemini Nano），无需GPU
摘要
一位开发者创建了一个名为Dobby的Chrome扩展程序，可以在PC上本地运行谷歌的Gemma4（Gemini Nano），无需GPU，只需Chrome和16GB内存。该扩展提供了一个简单的界面，用于与模型交互，完成拼写检查或摘要等任务。
大家都记得本月初悄悄下载的Gemini Nano吧？如果你和它对话，它会高兴地告诉你它是Gemma。由于一些朋友对此感兴趣，但又不愿意像通过锁眼对可怜的家养小精灵说话那样，通过开发者工具来与它交流，所以我花了5分钟编写了一个vibe编码的扩展来运行它。无需任何额外要求，只需要Google Chrome、16GB内存和一点磁盘空间。不需要llama.cpp、vllm等，也不用调整（我知道，这不好玩）。运行相当快且流畅，在我的笔记本上感觉大约20+t/s，没有GPU。不过我没有实际的速度数据。一切由Chrome处理。每个会话可用9216个token，由Chrome设定。模型完全在Chrome本地运行。用途……嗯，拼写检查，这样谷歌就不会知道我拼写有多差了？给长篇网络帖子做个快速摘要？只是好玩？总之，这里是一键添加扩展的链接：https://chromewebstore.google.com/detail/dobby/ehinjcinljpggpokocmkbcaedpjdbbbe?authuser=0&hl=en-GB&pli=1 或者如果你想稍微折腾一下，并且不想叫它Dobby（Chrome的家养小精灵），这是仓库：https://github.com/herryupmay/Dobby
相似文章
@_ar9av: 所以谷歌似乎将 Gemini Nano 4B 大语言模型（上下文限制：9216 tokens）内置于 Chrome 中。我尝试将其暴露出来……
一位开发者发现谷歌将 Gemini Nano 4B 大语言模型内置到 Chrome 中，并创建了一个兼容 OpenAI 的 API 封装用于本地使用，无需 API 密钥或外部网络调用。
谷歌新推出的Gemma 4 12B模型旨在任何配备16GB RAM的笔记本电脑上运行
谷歌发布Gemma 4 12B，这是一款紧凑型AI模型，专为仅需16GB RAM的本地笔记本使用而优化，具备多令牌预测以及针对文本、音频和图像的简化多模态能力。
谷歌的 Gemma 4 12B 刚刚发布 —— 下面教你如何在 Mac 上本地运行它
Google 发布了 Gemma 4 12B，这是一款基于 Apache 2.0 开源协议的多模态模型，支持文本、视觉和音频处理，上下文窗口达 256K。本文提供了一份指南，介绍如何在 Mac 上使用 Ollama、LM Studio 或 llama.cpp 本地运行该模型。
运行 gemma-4-26B-A4B 不需要 GPU
作者展示了在仅使用 CPU 的系统上，通过 Koboldcpp 高效运行 Gemma-4-26B-A4B 模型，在一台旧台式机上达到了每秒 7 个 token 的速度，这表明运行本地大语言模型推理可能并不需要强大的 GPU。
@hank_aibtc: 猛啊！在浏览器里跑 Gemma 4，堪比 ChatGPT？！ 完全零服务器、零数据上传、离线使用、纯WebGPU本地推理！ Xenova把 Fable 5写的27个自定义WebGPU内核 全部开源了： - Gemma 4 E2B（23亿参…
文章介绍了Xenova开源了27个自定义WebGPU内核，使得Gemma 4模型可以在浏览器中完全离线、本地运行，性能达到255 tok/s，并讨论了隐私、离线使用等优势。同时也提到了FLUX.2的3D生成能力。