ENTERPILOT/GOModel

源码：https://github.com/ENTERPILOT/GOModel

GoModel - 基于 Go 的高性能 AI 网关

CI (https://github.com/ENTERPILOT/GoModel/actions/workflows/test.yml)
文档 (https://gomodel.enterpilot.io/docs)
Discord (https://discord.gg/gaEB9BQSPH)
Docker 镜像 (https://hub.docker.com/r/enterpilot/gomodel)
Go 版本 (https://github.com/ENTERPILOT/GoModel/blob/main/go.mod)

用 Go 编写的高性能 AI 网关，为 OpenAI、Anthropic、Gemini、xAI、Groq、OpenRouter、Z.ai、Azure OpenAI、Oracle、Ollama 等提供统一的 OpenAI 兼容 API。

快速开始 - 部署 AI 网关

步骤 1： 启动 GoModel

docker run --rm -p 8080:8080 \
  -e LOGGING_ENABLED=true \
  -e LOGGING_LOG_BODIES=true \
  -e LOG_FORMAT=text \
  -e LOGGING_LOG_HEADERS=true \
  -e OPENAI_API_KEY="your-openai-key" \
  enterpilot/gomodel

只需传入所需供应商的凭证或 Base URL（至少一个）：

docker run --rm -p 8080:8080 \
  -e OPENAI_API_KEY="your-openai-key" \
  -e ANTHROPIC_API_KEY="your-anthropic-key" \
  -e GEMINI_API_KEY="your-gemini-key" \
  -e GROQ_API_KEY="your-groq-key" \
  -e OPENROUTER_API_KEY="your-openrouter-key" \
  -e ZAI_API_KEY="your-zai-key" \
  -e XAI_API_KEY="your-xai-key" \
  -e AZURE_API_KEY="your-azure-key" \
  -e AZURE_BASE_URL="https://your-resource.openai.azure.com/openai/deployments/your-deployment" \
  -e AZURE_API_VERSION="2024-10-21" \
  -e ORACLE_API_KEY="your-oracle-key" \
  -e ORACLE_BASE_URL="https://inference.generativeai.us-chicago-1.oci.oraclecloud.com/20231130/actions/v1" \
  -e ORACLE_MODELS="openai.gpt-oss-120b,xai.grok-3" \
  -e OLLAMA_BASE_URL="http://host.docker.internal:11434/v1" \
  enterpilot/gomodel

⚠️ 不要在命令行用 -e 传密钥——会泄漏到 shell 历史和进程列表。生产环境请用 docker run --env-file .env 从文件加载。

步骤 2： 发起首次 API 调用

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{ "model": "gpt-5-chat-latest", "messages": [{"role": "user", "content": "Hello!"}] }'

搞定！ GoModel 会根据你提供的凭证自动识别可用供应商。

支持的 LLM 供应商

示例模型名仅为演示，可能变动；请以供应商目录为准。功能列表示网关层支持，不代表上游模型全部能力。

✅ 支持 ❌ 不支持

Z.ai GLM Coding Plan 需设置 ZAI_BASE_URL=https://api.z.ai/api/coding/paas/v4。
Oracle 若上游 /models 不可用，需设置 ORACLE_MODELS=openai.gpt-oss-120b,xai.grok-3。

其他部署方式

源码运行

前置： Go 1.26.2+

1. 创建 .env 文件：

cp .env.template .env

2. 在 .env 中填写 API 密钥（至少一个）。
3. 启动服务：

make run

Docker Compose

仅基础设施（Redis、PostgreSQL、MongoDB、Adminer，不构建镜像）：

docker compose up -d   # 或：make infra

全栈（含 GoModel + Prometheus，会构建镜像）：

cp .env.template .env   # 填写 API 密钥
docker compose --profile app up -d   # 或：make image

本地构建镜像

docker build -t gomodel .
docker run --rm -p 8080:8080 --env-file .env gomodel

OpenAI 兼容 API 端点

网关配置

GoModel 通过环境变量与可选的 config.yaml 配置，环境变量优先级更高。
详见 .env.template 与 config/config.example.yaml。

关键配置：

快速开始 - 鉴权：
默认未设置 GOMODEL_MASTER_KEY，此时 API 无保护，任何人都能调用，生产环境极不安全。强烈建议在暴露服务前设置强密钥，在 .env 或环境中添加 GOMODEL_MASTER_KEY。

响应缓存

GoModel 提供双层缓存，降低 LLM 成本与延迟。

第一层 - 精确匹配缓存

对完整请求（路径 + Workflow + 体）哈希，字节完全一致时直接返回缓存，亚毫秒级查找。
通过环境变量 RESPONSE_CACHE_SIMPLE_ENABLED 与 REDIS_URL 开启。
命中时响应头带 X-Cache: HIT (exact)。

第二层 - 语义缓存

用配置的 /v1/embeddings 对最后一条用户消息向量化，执行 KNN 搜索。语义等价的问题（如“法国首都是哪？” vs “法国的首都是什么城市？”）可共用缓存，预期命中率约 60–70%，远高于精确匹配的 ~18%。
命中时响应头带 X-Cache: HIT (semantic)。
支持向量库：qdrant、pgvector、pinecone、weaviate（设置 cache.response.semantic.vector_store.type 及对应配置）。
缓存位于防护栏/工作流补丁之后，确保缓存的是最终提示。
可用 Cache-Control: no-cache 或 no-store 跳过缓存。

测试、Lint、预提交等开发流程见 DEVELOPMENT.md。

0.2.0 路线图

Must Have

• 智能路由
• 扩展供应商：Oracle 模型通过环境变量配置，新增 Cohere、Command A、Operational、DeepSeek V3
• 预算管理：按 user_path 或 API 密钥限制额度
• 可编辑模型价格，精准成本跟踪
• 完整支持 OpenAI /responses 与 /conversations 生命周期
• Prompt 缓存可见性：展示每条提示被供应商缓存的比例
• 防护栏强化：更好 UI、简化架构、易写自定义规则、输出侧防护栏
• 所有供应商透传，不仅当前 OpenAI & Anthropic beta
• 修复仪表盘的故障转移图表

Should Have

• 集群模式

社区

加入 Discord (https://discord.gg/gaEB9BQSPH) 与其他 GoModel 用户交流。

Star 历史

Star History 图表 (https://www.star-history.com/#enterpilot/gomodel&type=date&legend=top-left)