标签
Bonsai 27B是一个1比特密集型大语言模型，通过使用自定义WebGPU内核可以在浏览器中本地运行，实现高效的设备端推理。
Bonsai 27B 通过 1 位量化实现了 93% 的体积缩减，同时保留了 90% 的智能，借助自定义 WebGPU 内核实现本地浏览器推理。
Google 发布了 LiteRT.js，这是一个高性能的 JavaScript 运行时，利用 WebAssembly 和硬件加速直接在浏览器中运行 AI 模型，是 TensorFlow.js 的演进。
使用 Fable 和 Codex Rust 创建了《罗马全面战争》的网络版，编译为 WASM 并通过 WebGPU 渲染，支持约2万个单位，帧率流畅。
一种名为.splat4d的新型4D高斯splat格式，具有可调误差边界，对原始splat的压缩比为16-58倍，并支持动态场景的原生HTTP Range流式传输，代码和演示已提供。
前沿模型在生成网页应用方面已经变得非常熟练，以至于作者现在以从头构建WebGPU水渲染器为基准，比较了Opus-4.8和采用GPT-5.5实现器的Fable-5编排器。
Xenova 使用 Fable 5 编写优化内核，在 M4 上的 WebGPU 中为 Gemma 4 实现了每秒 255 个 token 的速度，展示了用于端侧推理的代理内核优化。
一种模块化、高性能的 GraphRAG（基于图的检索增强生成）Rust 实现，支持 WebGPU 加速，并提供三种部署架构：仅服务器、仅 WASM（客户端）以及混合模式。
开源AI推理在移动端达到300 tok/s，借助WebGPU框架，Liquid AI的LFM2.5 230M模型在浏览器中达到1,400 tok/s。
Kuma是一个编译器/运行时，它将导出的PyTorch模型编译成自包含的WebGPU可执行文件，从而实现无需Python或服务器依赖的直接浏览器推理。
LFM2.5 230M 模型使用自定义 WebGPU 内核在浏览器中实现每秒 1,400 个 token，展示了高效的本地推理。
Eyal Toledano 使用纯 WebGPU/WGSL 构建了一个LLM推理引擎，可在浏览器和Node中无API密钥地本地运行，并正寻求同行评审。
Stable Diffusion XL (SDXL) 现在可以使用 WebGPU 在浏览器中本地运行，通过开源代码直接在设备上生成高质量 AI 图像。
这篇客座文章探讨了提议的跨源存储API，用于改进Transformers.js中AI模型资源的缓存，从而实现跨源的高效复用，同时保持浏览器内推理的隐私和完整性。
Simon Willison借助Claude Code，将Moebius 0.2B图像修复模型移植到浏览器中运行，使用了WebGPU和ONNX Runtime。最终的演示允许用户上传图片并通过修复移除物体。
Vercel团队显著优化了其首页性能，使用了诸如WebGPU着色器等技术，并仔细检查每一帧，他们计划分享所学的经验。
文章介绍了Xenova开源了27个自定义WebGPU内核，使得Gemma 4模型可以在浏览器中完全离线、本地运行，性能达到255 tok/s，并讨论了隐私、离线使用等优势。同时也提到了FLUX.2的3D生成能力。
Gemma 4被演示在浏览器中通过WebGPU以每秒255个token的速度运行，使用Fable 5生成的内核，展示了高效的设备端推理。
一位开发者构建了一个完全自包含的浏览器使用代理，完全在WASM/WebGPU中运行，零服务器成本，通过自然语言提示实现完整的网页控制。