LFM2.5 230M 使用自定义 WebGPU 内核在浏览器中以 1,400 tok/s 运行

Reddit r/LocalLLaMA 模型
webgpu in-browser ai-model optimization large-language-model custom-kernels high-throughput

摘要

LFM2.5 230M 模型使用自定义 WebGPU 内核在浏览器中实现每秒 1,400 个 token，展示了高效的本地推理。

暂无内容
查看原文

相似文章

LFM3-Omni-2B 在浏览器中通过 WebGPU 本地运行

Reddit r/LocalLLaMA

LiquidAI 的 LFM3-Omni-2B 成为首个可在浏览器中通过 WebGPU 100% 本地运行的全模态模型，无需独立 ASR/TTS，在 M4 Max 上实现约 280 token/s、90ms 首 token 延迟。