@xenovacom：我们刚刚实现了一项突破：首个 100% 本地在浏览器中运行的真正全模态模型……完全端到端，无需额外的 ASR 或 TTS 模型

X AI KOLs Timeline 模型
multimodal omni-model on-device webgpu in-browser real-time

摘要

Xenova 宣布突破：首个 100% 本地在浏览器中运行的真正全模态模型 LFM3-Omni-2B，借助自定义 WebGPU kernels 实现约 280 tok/s，支持视觉、音频和文本输入并生成交错的文本与音频输出。

我们刚刚实现了一项突破：首个 100% 本地在浏览器中运行的真正全模态模型……完全端到端，无需额外的 ASR 或 TTS 模型。 借助自定义的 WebGPU kernels，我们可以在我的 M4 Max 上以约 280 tok/s 的速度运行 LFM3-Omni-2B，接受视觉、音频或文本输入，并生成交错的文本与音频 token。首 token 延迟仅 90 ms，首个音频输出延迟仅 140 ms。 端侧多模态 AI 智能体的未来将令人无比期待。
查看原文
查看缓存全文

缓存时间: 2026/11/01 01:40

我们刚刚取得了一项突破：第一个完全在浏览器中100%本地运行的真正的全模态模型……完全端到端，无需单独的ASR或TTS模型。

通过自定义WebGPU内核，我们能够在我的M4 Max上以约280 tok/s的速度运行LFM3-Omni-2B，接受视觉、音频或文本输入，并生成交错的文本和音频token。首个token仅需90毫秒，首个音频仅需140毫秒。

端侧多模态AI智能体的未来将会非常疯狂。

相似文章

LFM3-Omni-2B 在浏览器中通过 WebGPU 本地运行

Reddit r/LocalLLaMA

LiquidAI 的 LFM3-Omni-2B 成为首个可在浏览器中通过 WebGPU 100% 本地运行的全模态模型，无需独立 ASR/TTS，在 M4 Max 上实现约 280 token/s、90ms 首 token 延迟。

@hank_aibtc: 猛啊！在浏览器里跑 Gemma 4，堪比 ChatGPT？！ 完全零服务器、零数据上传、离线使用、纯WebGPU本地推理！ Xenova把 Fable 5写的27个自定义WebGPU内核 全部开源了： - Gemma 4 E2B（23亿参…

X AI KOLs Timeline

文章介绍了Xenova开源了27个自定义WebGPU内核，使得Gemma 4模型可以在浏览器中完全离线、本地运行，性能达到255 tok/s，并讨论了隐私、离线使用等优势。同时也提到了FLUX.2的3D生成能力。

一个 80B MoE 模型（Qwen3-Next，48 GB GGUF）在 Chrome 标签页中回答问题：使用 llama.cpp 的 WebGPU 后端，专家从磁盘按需分页加载

Reddit r/LocalLLaMA

作者将上周的 MoE 专家按需从磁盘流式加载的方案接入 llama.cpp 的 WebGPU 后端，使 80B MoE 模型（Qwen3-Next，48GB GGUF）也能在 Chrome 标签页中运行，无需为每个模型手写引擎。该方案新增了 ggml-webgpu 的缓冲类型、slot 映射的 MUL_MAT_ID 着色器和驻留逻辑，实测在 M4 Pro MacBook 上以 2.9 tok/s 解码 80B 模型，较小模型可达 22 tok/s。