LFM2.5 230M 使用自定义 WebGPU 内核在浏览器中以 1,400 tok/s 运行
摘要
LFM2.5 230M 模型使用自定义 WebGPU 内核在浏览器中实现每秒 1,400 个 token，展示了高效的本地推理。
暂无内容
相似文章
Gemma 4 E2B 在浏览器中运行，使用Fable 5编写的WebGPU内核，速度达255 tok/s
Gemma 4被演示在浏览器中通过WebGPU以每秒255个token的速度运行，使用Fable 5生成的内核，展示了高效的设备端推理。
Bonsai 27B：使用自定义WebGPU内核在浏览器中本地运行的1比特密集型大语言模型
Bonsai 27B是一个1比特密集型大语言模型，通过使用自定义WebGPU内核可以在浏览器中本地运行，实现高效的设备端推理。
@victormustar: 移动端300 tok/s太疯狂了... 开源必须赢
开源AI推理在移动端达到300 tok/s，借助WebGPU框架，Liquid AI的LFM2.5 230M模型在浏览器中达到1,400 tok/s。
@LottoLabs: 给显卡不够用的兄弟们的一个超酷模型，在一个海量token上训练的8b a1b模型，速度飞快…
LottoLabs 宣布了 LiquidAI 的 LFM2.5-8B-A1B-GGUF 模型，这是一个8B参数的模型，在大量token上训练，并针对有限GPU硬件上的快速推理进行了优化，支持 llama.cpp、Ollama、vLLM 等。
浏览器中的1位LLM
一款1位LLM（Bonsai）现在可以通过WebGPU在浏览器中运行，实现高效的设备端推理。