LFM3-Omni-2B running locally in-browser on WebGPU
Summary
LiquidAI 的 LFM3-Omni-2B 成为首个可在浏览器中通过 WebGPU 100% 本地运行的全模态模型，无需独立 ASR/TTS，在 M4 Max 上实现约 280 token/s、90ms 首 token 延迟。
The first true omni model that can run 100% locally in a browser... fully end-to-end, with no separate ASR or TTS models needed. With custom WebGPU kernels, we're able to run LFM3-Omni-2B at ~280 tok/s on an M4 Max, accepting visual, audio, or text and producing interleaved text and audio tokens. Just 90 ms to the first token and 140 ms to the first audio. Link to the demo: https://huggingface.co/spaces/LiquidAI/LFM3-Omni-2B-WebGPU
Similar Articles
@xenovacom: We've just made a breakthrough: the first true omni model running 100% locally in a browser... fully end-to-end, with n…
Xenova 宣布突破：首个 100% 本地在浏览器中运行的真正全模态模型 LFM3-Omni-2B，借助自定义 WebGPU kernels 实现约 280 tok/s，支持视觉、音频和文本输入并生成交错的文本与音频输出。
LFM2.5 230M running in-browser at 1,400 tok/s using custom WebGPU kernels
LFM2.5 230M model achieves 1,400 tokens per second in-browser using custom WebGPU kernels, demonstrating efficient local inference.
Real-time video captioning with LFM3-VL-2B running locally in-browser on WebGPU
LFM3-VL-2B 视觉语言模型可在浏览器中通过 WebGPU 本地实时进行视频字幕生成，LiquidAI 还发布了对应的 Hugging Face 模型集合与在线演示。
LiquidAI/LFM3-Omni-2B-GGUF
Liquid AI 发布 LFM3-Omni-2B 的 GGUF 版本，支持在 CPU/GPU 上本地推理。该模型可理解文本、图像、视频和音频，并以文本和语音输出，专为设备端使用打造。
LiquidAI/LFM3-Omni-2B
Liquid AI 发布 LFM3-Omni-2B，其 LFM3 家族首款全模态模型，可理解文本、图像、视频和音频，并以文本和语音作答，专为手机、笔记本等边缘设备设计，2.2B 参数即可替代独立的 ASR、VLM、LLM 和 TTS 模型。