Sipp - 一个基于 llama.cpp 的浏览器内推理开源库
摘要
Sipp 是一个开源库，利用 llama.cpp 实现浏览器内推理，使 AI 模型能够直接在浏览器中运行。
暂无内容
相似文章
@0xSero：关于 LLM 推理与部署，看这一篇就够了。你听说过：- vLLM - SGLang - llama.cpp - …
vLLM、SGLang、llama.cpp 与 ExLlamaV3 等主流开源推理引擎概览，助你轻松托管并运行大模型。
superlinked/sie
SIE 是一个开源推理引擎，通过单一 API 为代理任务提供超过 100 个 AI 模型的服务，支持按需加载，并与流行框架如 LangChain 和 LlamaIndex 集成。
在树莓派上使用 llama.cpp
关于使用 llama.cpp 在树莓派设备上运行大型语言模型进行本地推理的指南。
llama.cpp
本文介绍了 llama.cpp 的官方主页，这是一个开源的本地 LLM 推理引擎，重点介绍了通过 pi-llama 插件与 Pi 编码代理的集成以及广泛的硬件优化。
WebLLM: 高性能浏览器内LLM推理引擎
WebLLM是一个高性能的浏览器内LLM推理引擎，它利用WebGPU进行硬件加速，并且完全兼容OpenAI API，使得开源语言模型可以在本地运行。