litellm

针对开源AI工具LiteLLM的大规模供应链攻击，在三月份一个40分钟的时间窗口内，暴露了来自数千家组织的数TB凭据，其中包括Microsoft、Amazon和Cisco。安全公司CloudSEK和Hudson Rock披露了此次入侵，并将其归因于TeamPCP团伙。

作者分享了为企业级 agent 平台构建 human-in-the-loop 审批系统的经验，强调审批步骤必须是一个真正的阻塞暂停，参数可编辑，并且拒绝/编辑结果应是一等公民，同时询问其他人如何构建 agent 暂停机制。

LiteLLM已从Python迁移到Rust，性能大幅提升：请求开销降低150倍至0.05ms，吞吐量提升15倍，内存占用降低11倍至32MB。

一部安卓手机被重新用作便携式GGUF推理服务器，支持Vulkan加速，并通过LiteLLM暴露兼容OpenAI的端点，借助Tailscale网格集成到自托管的AI集群中。

一份针对 B2B SaaS 产品的 LLM 网关（OpenRouter、Concentrate.ai、Portkey 和 LiteLLM）的详细比较，涵盖特性、成本和治理。

kg-gen 是一个开源 Python 包，通过语言模型（借助 LiteLLM 和 DSPy）从纯文本或对话消息中提取知识图谱，具备分块、聚类和灵活的路由提供商功能。

一位创始人寻求对其服务进行验证，该服务利用开源工具配置生产级 LLM 网关，以解决企业常见问题，如成本可见性、供应商锁定和个人身份信息（PII）泄露。

重磅开源版本：RLM 优化、优化链串联、LiteLLM 解耦启动，迎来 24 位新贡献者。

GoModel 是一款用 Go 编写的全新开源 AI 网关，提供统一的 OpenAI 兼容 API，支持多家模型提供商，宣称体积比 LiteLLM 小 44 倍。