标签
作者将上周的 MoE 专家按需从磁盘流式加载的方案接入 llama.cpp 的 WebGPU 后端，使 80B MoE 模型（Qwen3-Next，48GB GGUF）也能在 Chrome 标签页中运行，无需为每个模型手写引擎。该方案新增了 ggml-webgpu 的缓冲类型、slot 映射的 MUL_MAT_ID 着色器和驻留逻辑，实测在 M4 Pro MacBook 上以 2.9 tok/s 解码 80B 模型，较小模型可达 22 tok/s。
LocalMind 进行了更新：在浏览器标签页中通过 WebGPU 生成时，从磁盘流式加载混合专家（mixture-of-experts）权重，使一台 24 GB 的 Mac 能够运行 14.4 GB 的 Gemma 4 26B-A4B，甚至 37 GB 的 Qwen3.6 模型，且输出与在相同 GGUF 文件上运行的 llama.cpp 一致。
Mentria.ai 的浏览器推理引擎使用 WebGPU，在配备 6 GB 显存的 RTX 3060 笔记本 GPU 上，以 1 位 27B 参数模型实现了 25-30 个令牌每秒的速度，从而实现了无需服务器安装的高效 AI 推理。
Hugging Face 发布 207 个 WebGPU 内核，用于浏览器中的本地 AI 推理，并附带一个 JavaScript 加载器库和名为 Fleet 的基准测试工具。
parakeet.wgsl 使用原生 WebGPU 计算着色器和 SIMD WASM，在浏览器中实现 NVIDIA Parakeet TDT 0.6B V2 语音转录的快速与准确，并提供实时演示与开源库。
Gemma 4被演示在浏览器中通过WebGPU以每秒255个token的速度运行，使用Fable 5生成的内核，展示了高效的设备端推理。
PrintGuard 2.0 是对基于 ShuffleNetV2 骨干网络和原型网络的少样本 FDM 故障检测器的重大重写，现在通过平台抽象层实现了单一 Python 引擎，可在 CPython 和浏览器中的 Pyodide 上无需修改运行，支持每台打印机的灵敏度调整和公平推理调度。
使用 ml-intern 和 DeepSeek V4 Flash 训练了一个提示注入分类器，使用 DistilBERT 实现 F1 99%，优化至 ONNX int8（约 65 MB），可通过 Transformers.js v3 在浏览器中运行。
本文重点介绍了 llama.cpp/ggml 中的全新 WebGPU 后端，它能够在浏览器中实现 GPU 加速的本地 AI 模型推理，由 Reese Levine 及其在 USCS 的团队在过去一年半中开发完成。
一位开发者演示在浏览器中完全通过 WebGPU 运行 Qwen3.6-27B AI 模型，尽管速度并非最优。