标签
作者微调了一个 360M 参数的 Qwen2.5-Coder-0.5B 模型,使其像真正的终端一样预测屏幕变化,可以模拟 vim、tmux、snake 等应用,展示了小型世界模型在字符网格界面中维持一致状态的可行性。
Odin 是一个基于浏览器的调试搜索引擎,它会解析代码仓库,并为给定的 bug 排列出需要修改的确切文件(93%)和函数(79.4%),通过 WebAssembly 使用 Tree-sitter,并通过 WebGPU 使用 10 亿参数以下的本地模型,在 SWE-bench Lite 上以极低成本达到了与 Claude 4.5 智能体相当的准确率。
作者在博客中演示了如何完全在浏览器端运行 RAG:用静态嵌入检索段落,再通过 transformers.js 在 WebGPU/WASM 上运行小型模型(如 Qwen3-0.6B、SmolLM2-360M)生成两句话摘要,全程数据不出本地。文章还评估了这些小模型的忠实度局限。
作者将上周的 MoE 专家按需从磁盘流式加载的方案接入 llama.cpp 的 WebGPU 后端,使 80B MoE 模型(Qwen3-Next,48GB GGUF)也能在 Chrome 标签页中运行,无需为每个模型手写引擎。该方案新增了 ggml-webgpu 的缓冲类型、slot 映射的 MUL_MAT_ID 着色器和驻留逻辑,实测在 M4 Pro MacBook 上以 2.9 tok/s 解码 80B 模型,较小模型可达 22 tok/s。
AskCyph Health Explorer 是一款教育工具,结合 Google DeepMind 的 AlphaGenome API 预测基因变异的影响,并借助通过 WebGPU 在浏览器中本地运行的 MedGemma 1.5 4B 模型,在完全保护隐私的前提下探索 DNA 突变与疾病之间的关系。
作者将两个开源 AI 内容检测模型(RoBERTa 文本检测器约 500MB 压缩至 97MB,以及 26MB 的 ViT 图像检测器)通过 ONNX Runtime Web 和混合精度量化等技术实现在浏览器端完全本地运行,无需上传数据,文本检测约 60ms、图像约 200ms。
Show HN:将《GT赛车4》和《战神II》等 PS2 游戏的 Emotion Engine 机器码静态重编译为 C++/WebAssembly,无需模拟器即可在浏览器中运行,使用 WebGPU 计算着色器实现 Graphics Synthesizer 的功能,并重新实现了 PS2 内核。该项目可在笔记本电脑的集成 GPU 上全速运行,游戏光盘镜像由代码仓库中的脚本在本地处理。
dzhng 分享了他的 AI 原生软件工程原则——删除抽象层、用 Rust 编写应用并编译为 WASM、让编码代理自主运行 12 小时以上——以及他的可组合代理技能开源库(dzhng/skills),用于配合 Claude Code、Codex、Cursor 等 70 多种工具构建软件工厂。
开源了 Rampart——一个浏览器原生的端侧 PII 过滤系统,结合正则规则与 MiniLM 小模型在数据离开设备前完成脱敏,模型仅 14.7MB、WebGPU 上 p50 延迟 3.9ms,七种语言的私有词召回率达 98.4%。
Google AI Edge 开源了 ML Drift,一个高性能、跨平台的 GPU 加速 AI/ML 推理引擎,支持 Android、iOS、Web(WebGPU)和服务器端,可高效运行大型生成式模型。
Google 的 EmbeddingGemma 2 嵌入模型现已通过 WebGPU 在浏览器本地运行,并配有 Hugging Face 模型页面以及一个交互式 Web 演示,展示设备端推理效果。
一个 Chrome 扩展,使用在设备端运行的小型 ONNX 决策模型(opendecider-nano)过滤 YouTube 信息流,通过 WebGPU/WASM 运行,无需服务器或 API 调用。在 400 个视频上,针对“隐藏音乐”或“只看新闻”等规则,达到 0.934 的平衡准确率,还能对选中文本检测提示词注入。
LocalMind 进行了更新:在浏览器标签页中通过 WebGPU 生成时,从磁盘流式加载混合专家(mixture-of-experts)权重,使一台 24 GB 的 Mac 能够运行 14.4 GB 的 Gemma 4 26B-A4B,甚至 37 GB 的 Qwen3.6 模型,且输出与在相同 GGUF 文件上运行的 llama.cpp 一致。
Framefields 是一个开源 npm 包,实现了以代码为核心的视频制作——合成、动态图形和 3D 渲染均由 TypeScript 原生在 WebGPU/WGSL 上完成,专为 Claude Code、Codex 等 AI 编程代理驱动而设计,取代传统创意套件。
一位开发者成功让 llama.cpp 与 WebGPU 一起编译运行,展示了一个大语言模型完全在浏览器内部运行的概念验证,并计划将其发展为一个能够与网页应用交互的 Agent。
Gitframes 是一个开源 npm 包,将 Photoshop、After Effects 和 Blender 级别的视频处理能力整合进一个代码优先的单一工具中,通过 WebGPU(Dawn/Metal/Vulkan)直接进行渲染,供 AI 编程智能体使用 TypeScript 组合并导出 MP4。
Hugging Face 开源了一个针对 WebGPU 优化的算子库,涵盖 200 多个机器学习算子,使大模型能够直接在浏览器中、利用用户端 GPU 运行,无需任何环境配置,既保证了完全的隐私,也免除了服务器端的计算成本。
Matt Keeter 发布了 Halfspace,一个基于 Fidget 内核构建的实体建模实验性IDE,支持距离场模型的实时光栅化与网格导出,并提供增量式、参数化的建模工作流。
OpenDLSS-NR 是 NVIDIA DLSS 5 生成式神经渲染网络(71 层 Swin/ViT U-net)的开源、逐比特一致的 Vulkan 重新实现,另有一个独立的 WebGPU 移植版本,可在没有张量核心和 FP8 的情况下于浏览器中运行。