Gemma 4 E2B 在浏览器中运行，使用Fable 5编写的WebGPU内核，速度达255 tok/s
摘要
Gemma 4被演示在浏览器中通过WebGPU以每秒255个token的速度运行，使用Fable 5生成的内核，展示了高效的设备端推理。
暂无内容
相似文章
@hank_aibtc: 猛啊！在浏览器里跑 Gemma 4，堪比 ChatGPT？！ 完全零服务器、零数据上传、离线使用、纯WebGPU本地推理！ Xenova把 Fable 5写的27个自定义WebGPU内核 全部开源了： - Gemma 4 E2B（23亿参…
文章介绍了Xenova开源了27个自定义WebGPU内核，使得Gemma 4模型可以在浏览器中完全离线、本地运行，性能达到255 tok/s，并讨论了隐私、离线使用等优势。同时也提到了FLUX.2的3D生成能力。
@googlegemma：“代理内核优化是端侧推理的未来” @xenovacom 使用 Fable 5 编写内核，将……
Xenova 使用 Fable 5 编写优化内核，在 M4 上的 WebGPU 中为 Gemma 4 实现了每秒 255 个 token 的速度，展示了用于端侧推理的代理内核优化。
@googlegemma: Gemma 4 E2B 在英特尔AI PC上运行速度超快，得益于OpenVINO上的LiteRT NPU支持！预填充性能提升1.3倍……
Gemma 4 E2B 在采用OpenVINO与LiteRT NPU支持的英特尔AI PC上，实现了预填充速度提升1.3倍、每瓦性能提升2.8倍，从而能够高效运行后台LLM任务。
在13年历史的Xeon无GPU服务器上以每秒5个token运行Gemma 4 26B
一位开发者成功在无GPU、双路Xeon的13年旧服务器上，使用修改版ik_llama.cpp（无需AVX2指令），以约每秒5个token的速度运行谷歌的Gemma 4 26B混合专家模型。
LFM2.5 230M 使用自定义 WebGPU 内核在浏览器中以 1,400 tok/s 运行
LFM2.5 230M 模型使用自定义 WebGPU 内核在浏览器中实现每秒 1,400 个 token，展示了高效的本地推理。