标签
一个使用三元3:4权重的1.6 MB模型在浏览器中通过WebGPU运行,玩四子棋的效果与7.8 MB的int8模型相当,展示了三元格式在轻量级AI部署中的有效性。
本文解释了Rust和WebGPU之间结构布局的细微差异,并介绍了使用naga进行单元测试的方法,以验证内存偏移,从而实现更安全的GPU计算着色器配置。
TresJS 与 PMNDRS 合作,为使用 WebGPU 的网页图形字体引擎提供官方支持。
一种名为JEVfire的新技术使现有的大型语言模型如Qwen在无需重训的情况下,通过修改决策过程来更像Jev,从而实现显著更快的JSON生成,并使本地AI代理能在消费级硬件上高效运行。
vgpu 是一个针对 WebGPU 的 TypeScript 库,具有类型化着色器导入、一个轻量级的 GPU 优先 API,并兼容浏览器、无头 Node 和测试环境。
AIRI是一个AI伴侣,具有实时语音聊天、凝视追踪头像、记忆保留以及对Minecraft和Factorio的游戏支持,兼容超过30个LLM,并通过WebGPU进行本地推理。
Ternary Bonsai 2 是基于 Qwen3.8-27B 的 27B 参数模型,采用三元权重,将模型大小压缩至 6GB 以下,同时保留 98.2% 的智能,使其能够通过 WebGPU 在浏览器中运行。
一个完全在浏览器中运行的编程代理,使用 Pi 框架和 MiniCPM5-2B AI 模型,支持 webGPU 加速,在 Hugging Face Spaces 上展示。
不受信任网站上的一个 WebGPU 着色器可以冻结 Mac 的图形系统,导致桌面界面无法使用,只能通过强制重启恢复。类似问题苹果此前已有处理。
Mentria.ai 的浏览器推理引擎使用 WebGPU,在配备 6 GB 显存的 RTX 3060 笔记本 GPU 上,以 1 位 27B 参数模型实现了 25-30 个令牌每秒的速度,从而实现了无需服务器安装的高效 AI 推理。
gpu-lexer 是一种基于 WebGPU 的语言无关语法高亮器,利用微型 AI 模型标注代码部分,无需预定义语法,提供新颖且注重性能的传统高亮器替代方案。
一款名为gpu-lexer的微小27.5KB AI模型,来自Vercel Labs,在浏览器中使用WebGPU本地运行,无需预先了解即可为任何编程语言的代码进行语法高亮。
WebLLM是一个高性能的浏览器内LLM推理引擎,它利用WebGPU进行硬件加速,并且完全兼容OpenAI API,使得开源语言模型可以在本地运行。
Hugging Face 发布 207 个 WebGPU 内核,用于浏览器中的本地 AI 推理,并附带一个 JavaScript 加载器库和名为 Fleet 的基准测试工具。
这条推文突显了 WebGPU 在创建出色的交互式演示方面的潜力,其中包含一个关于立方体落入洞中的趣味挑战。
Vercel 开源了 vgpu.sh,这是一款面向代理原生开发的 WebGPU 工具,支持在浏览器和无头 Node.js 环境中执行着色器,并具备持续测试与代理集成等功能。
Pngine是一个用于WebGPU的声明式格式与运行时,它使用S表达式来简化WebGPU配置的声明与验证,支持跨平台共享,并能导出为HTML或嵌入运行时的PNG等格式。