我为AI开源了“AWS for AI”平台。一个Docker Compose即可为整个组织提供受治理、合规、可审计的AI。网关、护栏、策略、可观测性、审计等——全部互联,基于开源构建。
摘要
一个开源的Docker Compose配置,集成了多个开源工具(LiteLLM、LLM Guard、OpenBao、Langfuse等),为组织提供受治理、合规、可审计的AI平台,并附带用户友好的界面用于构建受治理的工作流。
在组织内运行AI所需的每一块组件,都已经有开源方案存在。模型网关、护栏、PII屏蔽、策略、评估、审计、数据谱系、向量搜索。问题从来不是缺少组件,而是如何将它们整合成一个真正可用的系统,并确保每个团队都遵守规则。因此,我在最佳开源框架之上编写了一个应用层,确保它们之间能够通信。只需一个 `docker compose up`,你就会得到:
- LiteLLM 作为模型网关——一个兼容OpenAI的端点,支持任意模型(本地或云端)
- LLM Guard + Presidio 作为护栏——PII脱敏、提示注入检测、有毒内容过滤、密钥保护
- OpenBao 用于密钥管理
- Langfuse 用于LLM可观测性和追踪
- OpenSearch 用于审计和SIEM
- Marquez 用于数据谱系
- Temporal 用于持久的代理运行
- Qdrant 用于向量搜索/RAG
- Airbyte + dbt 用于数据移动,ClickHouse 用于数据仓库,Great Expectations 用于数据质量
- Kestra 用于编排,Ragas + Evidently 用于评估和漂移检测
然后我构建了我认为最关键的部分:一个面向企业的lovable / bolt.new / replit.dev。你只需设置一次管道和RBAC,之后每个员工都可以直接与系统交互,构建复制他们工作流程的应用——且始终不超出你已设定的规则。包含人工审核、报告和自主代理。一位税务分析师或理赔员可以用自然语言构建真实的受治理工作流,且该工作流物理上无法越出你定义的护栏、策略和审计范畴。这就是核心理念:一次设定规则,每个人都在其上构建受治理的AI。
相似文章
我构建了一个用于创建和管理AI代理的开源平台(MIT许可,可免费自托管)
作者构建了一个开源、MIT许可的AI代理创建和管理平台,具备提供商无关支持、MCP集成、记忆、技能、定时触发器和看板功能,可通过Docker Compose部署。
我的家庭实验室AI开发平台
作者描述如何在家庭实验室中搭建一个AI开发平台,使用带有Git访问权限的OpenCode Web UI,通过PR审查和GitOps部署实现对Docker服务的AI辅助维护。
OpenKite - 开源 AWS DevOps AI 代理
OpenKite 是一款全新的开源 AWS DevOps AI 代理,它利用 LangGraph 和 boto3 自动化云管理任务,内置人工审批工作流和审计日志功能。
我花了大约4.5个月构建了一个免费、自托管的AI网关:一个端点连接237家服务商(其中90多个免费),自动回退,以及一个令牌压缩管道(MIT许可)
一个开源、自托管的AI网关,为237家LLM服务商提供单一端点,支持自动回退、令牌压缩和路由。该项目在4.5个月内获得了9.8K个GitHub星标和280多位贡献者,获得了显著关注。
我开源了AI代理的“适配层”:使用受管控的MCP工具(浏览器、编辑器、密钥管理器)运行Claude Code/Codex/Gemini
开源了一个桌面工作空间,为AI编码代理提供受管控的运行时环境,包含100多个MCP工具、RBAC权限控制以及一个可自我演化的工具箱。