标签
Mentria.ai 的浏览器推理引擎使用 WebGPU,在配备 6 GB 显存的 RTX 3060 笔记本 GPU 上,以 1 位 27B 参数模型实现了 25-30 个令牌每秒的速度,从而实现了无需服务器安装的高效 AI 推理。
gpu-lexer 是一种基于 WebGPU 的语言无关语法高亮器,利用微型 AI 模型标注代码部分,无需预定义语法,提供新颖且注重性能的传统高亮器替代方案。
一款名为gpu-lexer的微小27.5KB AI模型,来自Vercel Labs,在浏览器中使用WebGPU本地运行,无需预先了解即可为任何编程语言的代码进行语法高亮。
WebLLM是一个高性能的浏览器内LLM推理引擎,它利用WebGPU进行硬件加速,并且完全兼容OpenAI API,使得开源语言模型可以在本地运行。
Hugging Face 发布 207 个 WebGPU 内核,用于浏览器中的本地 AI 推理,并附带一个 JavaScript 加载器库和名为 Fleet 的基准测试工具。
这条推文突显了 WebGPU 在创建出色的交互式演示方面的潜力,其中包含一个关于立方体落入洞中的趣味挑战。
Vercel 开源了 vgpu.sh,这是一款面向代理原生开发的 WebGPU 工具,支持在浏览器和无头 Node.js 环境中执行着色器,并具备持续测试与代理集成等功能。
Pngine是一个用于WebGPU的声明式格式与运行时,它使用S表达式来简化WebGPU配置的声明与验证,支持跨平台共享,并能导出为HTML或嵌入运行时的PNG等格式。
作者重建了 Mozilla 已停止的 Orbit AI 浏览器摘要工具,将其打造为一个名为 Apogee 的隐私优先本地工具,连接到 Ollama 进行推理,支持文章、视频和论坛的摘要功能。
Marc在VisionCamera中演示了利用DINOv2和Apple Vision框架的深度感知光注入,并通过react-native-webgpu实现了实时渲染。
S1-mini 是一个拥有600M参数的大语言模型,用于清理语音转文本的记录,通过移除错误和添加标点,在浏览器中通过 WebGPU 和 Transformers.js 本地运行。
HashAgent使您能够将AI代理打包为可分享的URL,并利用WebGPU在浏览器中本地运行,从而实现保护隐私、无服务器的AI代理分发。
jax-js 是一个开源的机器学习库和 Web 编译器,使用 WebGPU 和 WebAssembly 内核将类似 JAX 的数值计算引入 JavaScript,全部在客户端运行。
parakeet.wgsl 使用原生 WebGPU 计算着色器和 SIMD WASM,在浏览器中实现 NVIDIA Parakeet TDT 0.6B V2 语音转录的快速与准确,并提供实时演示与开源库。
一个完全在浏览器中运行的赛博朋克 FPS 技术演示,通过 vibe coding 结合多个 LLM 在 3 天内完成。它具有程序化生成、WebGPU 渲染和全合成音频。
作者详细介绍了他们如何使用LLM生成自定义WebGPU内核,而不是依赖通用的张量库,从而构建了一个浏览器内扑克求解器,实现了超过10倍的加速,并展示了一种范式转变,即廉价生成可以取代库抽象。
Academa Studio 使用 WebGPU 将 3Blue1Brown 的 Manim 动画引擎带到浏览器,实现原生 AI 的 Manim 编辑,无需本地环境配置。