llm-proxy

Olla v0.1.0 推出了一款轻量级开源 Go 代理，将多个本地 LLM 推理运行时（Ollama、vLLM、SGLang、llama.cpp、MLX 等）统一到单一端点，提供模型感知路由、负载均衡、故障转移、会话保持以及兼容 OpenAI/Anthropic 的 API。此次更新新增了对 Hugging Face TEI 的支持，重新设计了仪表板，支持配置重试行为，并改进了模型能力检测。

作者主张开发者应自建并控制 LLM 代理（proxy），以获得真正的 token 用量、请求日志、缓存命中等可观测性数据，而不是依赖各大模型厂商提供的无用仪表盘。

Stuntd 是一个开源的本地代理，它记录LLM决策调用，训练一个轻量级模型在本地处理这些调用，减少成本的同时保持与教师模型的高一致性。

LiteLLM 支持通过单一连接使用超过100个AI模型，兼容 OpenAI 和 Anthropic 等主要提供商，并提供开源和自托管选项。

本文探讨AI代理是否应具有内部或外部消费权限，倡导通过网关等工具执行外部策略，以管理多个代理的预算。

OpenClawMachines是一个开源平台，用于在您自己的基础设施上，通过硬件隔离的Firecracker微虚拟机运行OpenClaw AI代理，并配备控制平面、主机代理和LLM代理。

六个强大但知名度较低的AI开发者工具列表：Instructor（用于结构化JSON输出）、Octopoda（用于智能体记忆）、E2B（安全沙箱）、Firecrawl（网站转Markdown）、Composio（应用集成）和LiteLLM（多模型API）。

Tokenwise 是一个智能的 LLM 代理，帮助用户识别他们在 LLM 使用中何处多付了费用。

一位独立创始人介绍了Orqen，这是一个位于你的SDK和LLM提供商之间的代理，通过压缩工具结果、管理历史记录和降低token成本来优化出站请求，而无需更改智能体代码。