browser-inference

Gemma 4被演示在浏览器中通过WebGPU以每秒255个token的速度运行，使用Fable 5生成的内核，展示了高效的设备端推理。

PrintGuard 2.0 是对基于 ShuffleNetV2 骨干网络和原型网络的少样本 FDM 故障检测器的重大重写，现在通过平台抽象层实现了单一 Python 引擎，可在 CPython 和浏览器中的 Pyodide 上无需修改运行，支持每台打印机的灵敏度调整和公平推理调度。

使用 ml-intern 和 DeepSeek V4 Flash 训练了一个提示注入分类器，使用 DistilBERT 实现 F1 99%，优化至 ONNX int8（约 65 MB），可通过 Transformers.js v3 在浏览器中运行。

本文重点介绍了 llama.cpp/ggml 中的全新 WebGPU 后端，它能够在浏览器中实现 GPU 加速的本地 AI 模型推理，由 Reese Levine 及其在 USCS 的团队在过去一年半中开发完成。

一位开发者演示在浏览器中完全通过 WebGPU 运行 Qwen3.6-27B AI 模型，尽管速度并非最优。