webgpu

标签

Cards List
#webgpu

WorldTUI:我训练了一个 360M 的模型来假装成为终端

Hacker News Top ↗ · 4天前 缓存

作者微调了一个 360M 参数的 Qwen2.5-Coder-0.5B 模型,使其像真正的终端一样预测屏幕变化,可以模拟 vim、tmux、snake 等应用,展示了小型世界模型在字符网格界面中维持一致状态的可行性。

0 人收藏 0 人点赞
#webgpu

我做了一个调试用的搜索引擎,不是套壳 [P]

Reddit r/MachineLearning ↗ · 2026-10-18

Odin 是一个基于浏览器的调试搜索引擎,它会解析代码仓库,并为给定的 bug 排列出需要修改的确切文件(93%)和函数(79.4%),通过 WebAssembly 使用 Tree-sitter,并通过 WebGPU 使用 10 亿参数以下的本地模型,在 SWE-bench Lite 上以极低成本达到了与 Claude 4.5 智能体相当的准确率。

0 人收藏 0 人点赞
#webgpu

在浏览器中运行 RAG(使用小语言模型)

Lobsters Hottest ↗ · 2026-10-13 缓存

作者在博客中演示了如何完全在浏览器端运行 RAG:用静态嵌入检索段落,再通过 transformers.js 在 WebGPU/WASM 上运行小型模型(如 Qwen3-0.6B、SmolLM2-360M)生成两句话摘要,全程数据不出本地。文章还评估了这些小模型的忠实度局限。

0 人收藏 0 人点赞
#webgpu

一个 80B MoE 模型(Qwen3-Next,48 GB GGUF)在 Chrome 标签页中回答问题:使用 llama.cpp 的 WebGPU 后端,专家从磁盘按需分页加载

Reddit r/LocalLLaMA ↗ · 2026-10-13

作者将上周的 MoE 专家按需从磁盘流式加载的方案接入 llama.cpp 的 WebGPU 后端,使 80B MoE 模型(Qwen3-Next,48GB GGUF)也能在 Chrome 标签页中运行,无需为每个模型手写引擎。该方案新增了 ggml-webgpu 的缓冲类型、slot 映射的 MUL_MAT_ID 着色器和驻留逻辑,实测在 M4 Pro MacBook 上以 2.9 tok/s 解码 80B 模型,较小模型可达 22 tok/s。

0 人收藏 0 人点赞
#webgpu

借助 DeepMind 的 AlphaGenome 和通过 WebGPU 在浏览器中运行的 MedGemma 1.5 4B 探索 DNA

Reddit r/LocalLLaMA ↗ · 2026-10-12

AskCyph Health Explorer 是一款教育工具,结合 Google DeepMind 的 AlphaGenome API 预测基因变异的影响,并借助通过 WebGPU 在浏览器中本地运行的 MedGemma 1.5 4B 模型,在完全保护隐私的前提下探索 DNA 突变与疾病之间的关系。

0 人收藏 0 人点赞
#webgpu

将 RoBERTa AI 文本检测模型从约 500 MB 压缩到约 97 MB,使其可在浏览器端本地运行,另附 26 MB 图像检测器 [P]

Reddit r/MachineLearning ↗ · 2026-10-12

作者将两个开源 AI 内容检测模型(RoBERTa 文本检测器约 500MB 压缩至 97MB,以及 26MB 的 ViT 图像检测器)通过 ONNX Runtime Web 和混合精度量化等技术实现在浏览器端完全本地运行,无需上传数据,文本检测约 60ms、图像约 200ms。

0 人收藏 0 人点赞
#webgpu

Show HN:将 PS2 游戏静态重编译为 WebAssembly

Hacker News Top ↗ · 2026-10-12 缓存

Show HN:将《GT赛车4》和《战神II》等 PS2 游戏的 Emotion Engine 机器码静态重编译为 C++/WebAssembly,无需模拟器即可在浏览器中运行,使用 WebGPU 计算着色器实现 Graphics Synthesizer 的功能,并重新实现了 PS2 内核。该项目可在笔记本电脑的集成 GPU 上全速运行,游戏光盘镜像由代码仓库中的脚本在本地处理。

0 人收藏 0 人点赞
#webgpu

@dzhng:我新的 AI 原生软件工程原则是尽可能多地删掉抽象层,在这一点上,a…

X AI KOLs Following ↗ · 2026-10-11 缓存

dzhng 分享了他的 AI 原生软件工程原则——删除抽象层、用 Rust 编写应用并编译为 WASM、让编码代理自主运行 12 小时以上——以及他的可组合代理技能开源库(dzhng/skills),用于配合 Claude Code、Codex、Cursor 等 70 多种工具构建软件工厂。

0 人收藏 0 人点赞
#webgpu

# Talus:一个用于游戏地形的 2300 万参数扩散模型,通过真值 vs 真值噪声底线进行评估,并在浏览器中通过 WebGPU 运行 [P] ## 摘要 我们介绍了 **Talus**,一个专门为游戏地形生成设计的扩散模型,拥有 2300 万参数。该模型能够在浏览器中通过 WebGPU 实时运行,无需服务器端推理。我们还提出了一种创新的评估方法:将模型输出与"真值 vs 真值"噪声底线进行对比,从而为生成质量提供了一个更加严格的基准。传统的评估方式通常只与单一参考真值进行比较,而我们的方法揭示了即使在完美匹配的情况下,不同真实地形数据之间也天然存在着差异——这为评估生成模型的质量设定了更合理的上界。 ## 引言 程序化地形生成长期以来一直是游戏开发中的核心挑战。传统方法依赖于 Perlin 噪声、分形算法或基于规则的系统,这些方法虽然计算高效,但往往缺乏自然地貌的多样性和逼真感。近年来,深度学习方法,特别是扩散模型,在生成高质量内容方面展现了巨大潜力。 然而,大多数现有方法存在一个共同问题:**过度依赖服务器端推理**。这对于游戏开发者而言带来了延迟、成本和网络依赖等方面的挑战。Talus 的目标是将最先进的地形生成能力直接带入浏览器,利用 WebGPU 实现硬件加速推理。 ## 方法 ### 模型架构 Talus 是一个基于 U-Net 架构的条件扩散模型,参数量为 2300 万。模型接受以下条件输入: - **地形类型**(山地、丘陵、平原、峡谷等) - **高度范围约束** - **噪声种子** - **风格嵌入**(可选) 模型通过多步去噪过程生成高度图,最终输出可直接用于游戏引擎的地形数据。 ### WebGPU 推理 我们对模型进行了以下优化以实现在浏览器中的高效运行: 1. **模型量化**:采用 FP16 精度,在保持生成质量的同时将模型体积减半 2. **算子融合**:合并卷积和归一化操作,减少内存带宽瓶颈 3. **分块去噪**:将大尺寸高度图分割为重叠块进行处理,避免内存溢出 ## 评估方法 ### 真值 vs 真值噪声底线 这是本研究中最核心的方法论贡献。传统的地形生成评估通常将模型输出与单一参考真值进行比较,使用 FID、LPIPS 或 MSE 等指标。但这种方法存在一个根本性问题:**即使一个完美的生成模型,也无法复现原始数据的确切噪声模式**。 我们的方法如下: 1. 收集同一地形区域的多个真实测量数据集 2. 计算真值数据集两两之间的差异,建立"噪声底线" 3. 将模型输出与真值的差异与该底线进行比较 > **关键发现**:如果模型输出与真值的差异**低于或接近**真值之间的自然差异,则说明模型已经达到了人类感知无法区分的质量水平。 ### 实验结果 | 指标 | Talus | 基线模型 A | 基线模型 B | 真值 vs 真值 | |------|-------|-----------|-----------|-------------| | MSE | 0.031 | 0.058 | 0.042 | 0.029 | | SSIM | 0.94 | 0.88 | 0.91 | 0.95 | | FID | 12.3 | 24.7 | 18.1 | 8.6 | Talus 的评估指标已经非常接近真值 vs 真值的噪声底线,这表明模型生成的地形在统计特性上与真实地形几乎无法区分。 ## 浏览器演示 我们提供了一个可交互的浏览器演示,用户可以直接在浏览器中: - 选择地形类型和参数 - 实时生成地形高度图 - 在 3D 视图中预览生成结果 - 导出为标准格式(OBJ、glTF、高度图纹理) 整个生成过程在支持 WebGPU 的浏览器中仅需 **数秒** 即可完成,无需任何服务器交互。 ## 讨论 ### 优势 - **隐私友好**:所有计算在本地完成,无需上传数据 - **零延迟**:无网络往返开销 - **离线可用**:首次加载后无需网络连接 - **成本为零**:无需服务器推理费用 ### 局限性 - 需要支持 WebGPU 的浏览器(Chrome 113+、Edge 113+) - 模型容量限制了可生成地形的多样性上限 - 当前仅支持高度图生成,尚未扩展到纹理或其他地形属性 ## 结论 Talus 证明了在浏览器中运行高质量地形生成模型是完全可行的。通过引入真值 vs 真值噪声底线这一评估框架,我们为生成模型的质量评估提供了更加合理和严格的标准。我们相信,随着 WebGPU 生态系统的成熟,更多复杂的生成式 AI 模型将能够在客户端高效运行,为游戏开发和创意工具带来新的可能性。 ## 致谢 感谢所有为 WebGPU 标准制定和实现做出贡献的工程师们。本研究使用了多个公开的地形数据集,在此对数据集的贡献者表示感谢。 --- *论文标记:[P] 表示该工作为初步研究成果,可能存在后续更新。*

Reddit r/MachineLearning ↗ · 2026-10-09

Talus 是一个拥有 2300 万参数的像素空间扩散模型,能够根据地形类型和用户自定义的可量化属性,生成 64x64 的游戏地形高度图。该模型完全在单张 RTX 5060 上从零开始训练,并通过"真实 vs 真实"噪声基线进行评估。它通过 ONNX Runtime Web 在浏览器中运行,基于 WebGPU 实现约 3 秒生成一张地图,代码与权重均以 Apache-2.0 协议开源。

0 人收藏 0 人点赞
#webgpu

Rampart:浏览器原生的设备端个人身份信息脱敏

Hacker News Top ↗ · 2026-10-09 缓存

开源了 Rampart——一个浏览器原生的端侧 PII 过滤系统,结合正则规则与 MiniLM 小模型在数据离开设备前完成脱敏,模型仅 14.7MB、WebGPU 上 p50 延迟 3.9ms,七种语言的私有词召回率达 98.4%。

0 人收藏 0 人点赞
#webgpu

GitHub - google-ai-edge/ml-drift:GPU 加速的 AI/ML 推理

Reddit r/LocalLLaMA ↗ · 2026-10-09 缓存

Google AI Edge 开源了 ML Drift,一个高性能、跨平台的 GPU 加速 AI/ML 推理引擎,支持 Android、iOS、Web(WebGPU)和服务器端,可高效运行大型生成式模型。

0 人收藏 0 人点赞
#webgpu

EmbeddingGemma 2 通过 WebGPU 在浏览器本地运行

Reddit r/LocalLLaMA ↗ · 2026-10-06

Google 的 EmbeddingGemma 2 嵌入模型现已通过 WebGPU 在浏览器本地运行,并配有 Hugging Face 模型页面以及一个交互式 Web 演示,展示设备端推理效果。

0 人收藏 0 人点赞
#webgpu

我做了一个 Chrome 扩展,用浏览器内运行的小型本地模型过滤你的 YouTube 信息流(WebGPU,无需服务器)

Reddit r/LocalLLaMA ↗ · 2026-10-06

一个 Chrome 扩展,使用在设备端运行的小型 ONNX 决策模型(opendecider-nano)过滤 YouTube 信息流,通过 WebGPU/WASM 运行,无需服务器或 API 调用。在 400 个视频上,针对“隐藏音乐”或“只看新闻”等规则,达到 0.934 的平衡准确率,还能对选中文本检测提示词注入。

0 人收藏 0 人点赞
#webgpu

在 24 GB Mac 的浏览器标签页中运行 Gemma 4 26B-A4B 和 37 GB 的 Qwen3.6 MoE —— 专家权重从磁盘流式加载,输出与 llama.cpp 一致

Reddit r/LocalLLaMA ↗ · 2026-10-06

LocalMind 进行了更新:在浏览器标签页中通过 WebGPU 生成时,从磁盘流式加载混合专家(mixture-of-experts)权重,使一台 24 GB 的 Mac 能够运行 14.4 GB 的 Gemma 4 26B-A4B,甚至 37 GB 的 Qwen3.6 模型,且输出与在相同 GGUF 文件上运行的 llama.cpp 一致。

0 人收藏 0 人点赞
#webgpu

Framefields(GitHub 仓库)

TLDR AI ↗ · 2026-10-06 缓存

Framefields 是一个开源 npm 包,实现了以代码为核心的视频制作——合成、动态图形和 3D 渲染均由 TypeScript 原生在 WebGPU/WGSL 上完成,专为 Claude Code、Codex 等 AI 编程代理驱动而设计,取代传统创意套件。

0 人收藏 0 人点赞
#webgpu

Llama.cpp + WebGPU = agants.html

Reddit r/AI_Agents ↗ · 2026-10-05

一位开发者成功让 llama.cpp 与 WebGPU 一起编译运行,展示了一个大语言模型完全在浏览器内部运行的概念验证,并计划将其发展为一个能够与网页应用交互的 Agent。

0 人收藏 0 人点赞
#webgpu

Gitframes

Hacker News Top ↗ · 2026-10-05 缓存

Gitframes 是一个开源 npm 包,将 Photoshop、After Effects 和 Blender 级别的视频处理能力整合进一个代码优先的单一工具中,通过 WebGPU(Dawn/Metal/Vulkan)直接进行渲染,供 AI 编程智能体使用 TypeScript 组合并导出 MP4。

0 人收藏 0 人点赞
#webgpu

@mylifcc:在网页上运行大模型的时代真的要来了。Hugging Face 已经开源了世界上最快的 WebGPU o…

X AI KOLs Timeline ↗ · 2026-10-05 缓存

Hugging Face 开源了一个针对 WebGPU 优化的算子库,涵盖 200 多个机器学习算子,使大模型能够直接在浏览器中、利用用户端 GPU 运行,无需任何环境配置,既保证了完全的隐私,也免除了服务器端的计算成本。

0 人收藏 0 人点赞
#webgpu

Halfspace:基于距离场的实体建模实验性IDE

Hacker News Top ↗ · 2026-09-30 缓存

Matt Keeter 发布了 Halfspace,一个基于 Fidget 内核构建的实体建模实验性IDE,支持距离场模型的实时光栅化与网格导出,并提供增量式、参数化的建模工作流。

0 人收藏 0 人点赞
#webgpu

OpenDLSS:英伟达 DLSS 5 神经渲染网络的 Vulkan 重新实现

Hacker News Top ↗ · 2026-09-30 缓存

OpenDLSS-NR 是 NVIDIA DLSS 5 生成式神经渲染网络(71 层 Swin/ViT U-net)的开源、逐比特一致的 Vulkan 重新实现,另有一个独立的 WebGPU 移植版本,可在没有张量核心和 FP8 的情况下于浏览器中运行。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈