标签
一部安卓手机被重新用作便携式GGUF推理服务器，支持Vulkan加速，并通过LiteLLM暴露兼容OpenAI的端点，借助Tailscale网格集成到自托管的AI集群中。
一份针对 B2B SaaS 产品的 LLM 网关（OpenRouter、Concentrate.ai、Portkey 和 LiteLLM）的详细比较，涵盖特性、成本和治理。
kg-gen 是一个开源 Python 包，通过语言模型（借助 LiteLLM 和 DSPy）从纯文本或对话消息中提取知识图谱，具备分块、聚类和灵活的路由提供商功能。
一位创始人寻求对其服务进行验证，该服务利用开源工具配置生产级 LLM 网关，以解决企业常见问题，如成本可见性、供应商锁定和个人身份信息（PII）泄露。
重磅开源版本：RLM 优化、优化链串联、LiteLLM 解耦启动，迎来 24 位新贡献者。
GoModel 是一款用 Go 编写的全新开源 AI 网关，提供统一的 OpenAI 兼容 API，支持多家模型提供商，宣称体积比 LiteLLM 小 44 倍。