Olla v0.1.0 - 轻量级开源 LLM 代理，适用于家庭实验室和本地部署推理（支持 Ollama、vLLM、SGLang、llama.cpp、oMLX，具备故障转移、会话保持和负载均衡功能）

大家好，大约 18 个月前，我们开始开发 Olla，希望解决在家庭实验室和工作中管理多个本地 LLM 推理服务器时反复遇到的一些头疼问题。我们之前在这里分享过它，当时还处于相当早期的开发阶段。此后，它有了很大的发展，我们刚刚发布了 v0.1.0（这是我们的第 25 次发布！）。我们想要解决的问题其实没有太大变化，如今也有一些客户在使用它：一个推理端点宕机，工作流就完全停摆。模型分散在不同的机器、GPU 和运行时上，却没有简单的方法将它们作为一个集群统一管理。在 Ollama、vLLM、SGLang、llama.cpp 或 LM Studio 之间切换，意味着要重新配置应用。多台机器提供同一个模型，却没有统一的负载均衡或故障转移机制。难以了解哪些服务状态正常、正在运行什么，以及请求被发往哪里。应用需要 OpenAI 或 Anthropic API，而推理后端使用的却是另一套接口。你想做些实验，看看 vllm 和 sglang 哪个运行 qwen3.8 的效果更好。这正是 Olla 的用武之地。它是一个用 Go 编写的轻量级代理和负载均衡器，位于应用与推理服务器之间。它目前具备的一些功能：模型感知路由：自动发现各个后端上的模型，并将请求路由到实际提供相应模型的机器。负载均衡与故障转移：支持优先级、轮询和最少连接数策略，并配有健康检查和熔断机制。多种推理运行时：Ollama、vLLM、SGLang、llama.cpp、LM Studio、MLX、Docker Model Runner、LMDeploy、Lemonade 等。统一 API：提供兼容 OpenAI 和 Anthropic 的接口，并在需要时进行转换。适用于 Open WebUI、Claude Code 和其他客户端。KV 缓存局部性：通过粘性会话，在适当情况下让请求持续发往同一个后端。可观测性：内置仪表板、端点健康状态、请求统计和 Prometheus 指标。轻量部署：单个 Go 二进制文件或 Docker 容器，无需数据库或外部服务。v0.1.0 有哪些新变化？这个版本主要着眼于提高可靠性，让 Olla 更适合运行混合推理环境的用户。新增了对 Hugging Face Text Embeddings Inference（TEI）的支持，包括嵌入、重排序和分类。重新设计了仪表板，改善端点信息展示，并支持可配置的列、筛选和集群统计。重试和故障转移行为可配置，包括非幂等请求的处理方式。改进了模型能力检测，尤其是视觉、工具调用、嵌入和重排序模型方面。修复了模型发现与正在处理的推理请求之间的并发问题。修正了请求统计，并改进了 OpenAI 和 Anthropic 路由的限流机制。针对路由、后端发现和配置校验进行了大量小修复。我们还收到了社区的一些出色贡献，看到这些令人备受鼓舞。为什么还要再做一个 LLM 代理？我们想要一个小巧、快速、部署相对简单的工具，不需要 Kubernetes、数据库或复杂的编排技术栈。而且在我们开始开发时，这类工具也没有那么多。我们一直在混合使用 NVIDIA GPU 服务器、Mac Studio、DGX Spark 和不同的推理运行时来运行 Olla。当你拥有多台机器，又不想操心具体由哪个后端提供某个模型时，它尤其有用。它并不打算取代推理引擎，只是让多个推理引擎一起运行时少些麻烦。链接：GitHub：https://github.com/thushan/olla 文档：https://thushan.github.io/olla/ v0.1.0 发布说明：https://tensorfoundry.io/news/olla-v0-1-0-release 如果你也在运行多个本地推理服务器，我很想听听你目前是如何管理路由和故障转移的。和往常一样，如果你试用了 Olla，请告诉我们使用情况如何（以及哪里出了问题！）。