我为AI开源了“AWS for AI”平台。一个Docker Compose即可为整个组织提供受治理、合规、可审计的AI。网关、护栏、策略、可观测性、审计等——全部互联,基于开源构建。

Reddit r/AI_Agents 工具

摘要

一个开源的Docker Compose配置,集成了多个开源工具(LiteLLM、LLM Guard、OpenBao、Langfuse等),为组织提供受治理、合规、可审计的AI平台,并附带用户友好的界面用于构建受治理的工作流。

在组织内运行AI所需的每一块组件,都已经有开源方案存在。模型网关、护栏、PII屏蔽、策略、评估、审计、数据谱系、向量搜索。问题从来不是缺少组件,而是如何将它们整合成一个真正可用的系统,并确保每个团队都遵守规则。因此,我在最佳开源框架之上编写了一个应用层,确保它们之间能够通信。只需一个 `docker compose up`,你就会得到: - LiteLLM 作为模型网关——一个兼容OpenAI的端点,支持任意模型(本地或云端) - LLM Guard + Presidio 作为护栏——PII脱敏、提示注入检测、有毒内容过滤、密钥保护 - OpenBao 用于密钥管理 - Langfuse 用于LLM可观测性和追踪 - OpenSearch 用于审计和SIEM - Marquez 用于数据谱系 - Temporal 用于持久的代理运行 - Qdrant 用于向量搜索/RAG - Airbyte + dbt 用于数据移动,ClickHouse 用于数据仓库,Great Expectations 用于数据质量 - Kestra 用于编排,Ragas + Evidently 用于评估和漂移检测 然后我构建了我认为最关键的部分:一个面向企业的lovable / bolt.new / replit.dev。你只需设置一次管道和RBAC,之后每个员工都可以直接与系统交互,构建复制他们工作流程的应用——且始终不超出你已设定的规则。包含人工审核、报告和自主代理。一位税务分析师或理赔员可以用自然语言构建真实的受治理工作流,且该工作流物理上无法越出你定义的护栏、策略和审计范畴。这就是核心理念:一次设定规则,每个人都在其上构建受治理的AI。
查看原文

相似文章

我的家庭实验室AI开发平台

Hacker News Top

作者描述如何在家庭实验室中搭建一个AI开发平台,使用带有Git访问权限的OpenCode Web UI,通过PR审查和GitOps部署实现对Docker服务的AI辅助维护。

OpenKite - 开源 AWS DevOps AI 代理

Reddit r/AI_Agents

OpenKite 是一款全新的开源 AWS DevOps AI 代理,它利用 LangGraph 和 boto3 自动化云管理任务,内置人工审批工作流和审计日志功能。