transformers-js

作者在博客中演示了如何完全在浏览器端运行 RAG：用静态嵌入检索段落，再通过 transformers.js 在 WebGPU/WASM 上运行小型模型（如 Qwen3-0.6B、SmolLM2-360M）生成两句话摘要，全程数据不出本地。文章还评估了这些小模型的忠实度局限。

Observer 是一款开源应用，可让本地 LLM 监控你的屏幕并发送通知。现在它支持免安装的浏览器内模型下载（通过 transformers.js 运行 Qwen3.5-0.8b），同时提供基于 llama.cpp 的桌面版本。这次更新让本地 AI 屏幕监控在大约 10 秒内即可上手，无需任何配置。

Hugging Face 开源了一个针对 WebGPU 优化的算子库，涵盖 200 多个机器学习算子，使大模型能够直接在浏览器中、利用用户端 GPU 运行，无需任何环境配置，既保证了完全的隐私，也免除了服务器端的计算成本。

一款基于React的应用工具，利用Transformers.js可视化大型语言模型中的注意力机制，展示令牌如何影响生成过程，帮助理解LLM行为。

作者重建了 Mozilla 已停止的 Orbit AI 浏览器摘要工具，将其打造为一个名为 Apogee 的隐私优先本地工具，连接到 Ollama 进行推理，支持文章、视频和论坛的摘要功能。

S1-mini 是一个拥有600M参数的大语言模型，用于清理语音转文本的记录，通过移除错误和添加标点，在浏览器中通过 WebGPU 和 Transformers.js 本地运行。

这篇客座文章探讨了提议的跨源存储API，用于改进Transformers.js中AI模型资源的缓存，从而实现跨源的高效复用，同时保持浏览器内推理的隐私和完整性。

一个深入探讨的视频，解释如何使用 Transformers.js 从 JavaScript 运行 AI 模型，涵盖张量、ONNX、量化、WebGPU/WASM 等。

演示了如何使用 WebGPU 和 Transformers.js 在浏览器中离线运行 Gemma 4，并通过 WebSerial 控制 Reachy Mini 机器人。

Opus 4.7 自动生成定制 WebGPU 内核，通过融合 LinearAttention 将 Qwen3.5 推理加速最高 13 倍，现已随 Transformers.js v4.2.0 发布。

本文提供了一份技术指南，介绍如何将 Transformers.js 集成到基于 Manifest V3 的 Chrome 扩展中，详细阐述了后台 Service Worker 架构、模型缓存和 Agent 循环的设计。